모바일 오유 바로가기
http://m.todayhumor.co.kr
분류 게시판
베스트
  • 베스트오브베스트
  • 베스트
  • 오늘의베스트
    		•
    유머
  • 유머자료
  • 유머글
    		•
    이야기
  • 자유
  • 고민
  • 연애
  • 결혼생활
  • 좋은글
  • 자랑
  • 공포
  • 멘붕
  • 사이다
  • 꿈
  • 똥
  • 군대
  • 밀리터리
  • 미스터리
  • 술한잔
  • 오늘있잖아요
  • 투표인증
  • 새해
    		•
    이슈
  • 시사
  • 시사아카이브
  • 사회면
  • 사건사고
    		•
    생활
  • 패션
  • 패션착샷
  • 아동패션착샷
  • 뷰티
  • 인테리어
  • DIY
  • 요리
  • 커피&차
  • 육아
  • 법률
  • 동물
  • 책
  • 지식
  • 취업정보
  • 식물
  • 다이어트
  • 의료
  • 영어
  • 맛집
  • 추천사이트
  • 해외직구
    		•
    취미
  • 사진
  • 사진강좌
  • 카메라
  • 만화
  • 애니메이션
  • 포니
  • 자전거
  • 자동차
  • 여행
  • 바이크
  • 민물낚시
  • 바다낚시
  • 장난감
  • 그림판
    		•
    학술
  • 경제
  • 역사
  • 예술
  • 과학
  • 철학
  • 심리학
    		•
    방송연예
  • 연예
  • 음악
  • 음악찾기
  • 악기
  • 음향기기
  • 영화
  • 다큐멘터리
  • 국내드라마
  • 해외드라마
  • 예능
  • 팟케스트
    		•
    방송프로그램
  • 무한도전
  • 더지니어스
  • 개그콘서트
  • 런닝맨
  • 나가수
    		•
    디지털
  • 컴퓨터
  • 프로그래머
  • IT
  • 안티바이러스
  • 애플
  • 안드로이드
  • 스마트폰
  • 윈도우폰
  • 심비안
    		•
    스포츠
  • 스포츠
  • 축구
  • 야구
  • 농구
  • 바둑
    		•
    야구팀
  • 삼성
  • 두산
  • NC
  • 넥센
  • 한화
  • SK
  • 기아
  • 롯데
  • LG
  • KT
  • 메이저리그
  • 일본프로야구리그
    		•
    게임1
  • 플래시게임
  • 게임토론방
  • 엑스박스
  • 플레이스테이션
  • 닌텐도
  • 모바일게임
    		•
    게임2
  • 던전앤파이터
  • 롤
  • 마비노기
  • 마비노기영웅전
  • 하스스톤
  • 히어로즈오브더스톰
  • gta5
  • 디아블로
  • 디아블로2
  • 피파온라인2
  • 피파온라인3
  • 워크래프트
  • 월드오브워크래프트
  • 밀리언아서
  • 월드오브탱크
  • 블레이드앤소울
  • 검은사막
  • 스타크래프트
  • 스타크래프트2
  • 베틀필드3
  • 마인크래프트
  • 데이즈
  • 문명
  • 서든어택
  • 테라
  • 아이온
  • 심시티5
  • 프리스타일풋볼
  • 스페셜포스
  • 사이퍼즈
  • 도타2
  • 메이플스토리1
  • 메이플스토리2
  • 오버워치
  • 오버워치그룹모집
  • 포켓몬고
  • 파이널판타지14
  • 배틀그라운드
    		•
    기타
  • 종교
  • 단어장
  • 자료창고
    		•
    운영
  • 공지사항
  • 오유운영
  • 게시판신청
  • 보류
    		•
    임시게시판
  • 메르스
  • 세월호
  • 원전사고
  • 2016리오올림픽
  • 2018평창올림픽
  • 코로나19
  • 2020도쿄올림픽
    		•
    • 게시판찾기
    • 오유인페이지
    개인차단 상태
    프로그래머님의
    개인페이지입니다
    가입 : 07-05-23
    방문 : 550회
    닉네임변경 이력
    일반게시판
    베스트게시판
    베스트오브베스트
    댓글목록
    회원차단
    회원차단해제
    		  

    프로그래머님의 댓글입니다.
    번호 제목 댓글날짜 추천/비공감 삭제
    722 주인 말 잘듣는 충직한 허스키 [새창] 2020-04-30 03:32:27 4 삭제
    저 사람 쓴글 보세요 그리고 저 사람 제가 한두번 본게 아니라 다중 아이디로 계속 저러고 있어요 계속 신고 하는데 계속 아이디 만들어서 그러는거라 이렇게 댓글로 하는거에요.
    721 주인 말 잘듣는 충직한 허스키 [새창] 2020-04-30 03:25:11 5 삭제
    출처를 이용한 홍보 게시글 입니다. 적당히좀 홍보하세요 .신고했습니다.
    720 주식갤러리의 최근 차트 해석법 [새창] 2020-04-30 01:47:10 0 삭제
    좀 가렸습니다. 출처 사이트 운영자 하X근 ([email protected])님 적당히 홍보하세요.
    718 주식갤러리의 최근 차트 해석법 [새창] 2020-04-30 01:01:59 1 삭제
    기존에는 안드로이드 앱 사이트 홍보 하다가 신고 먹었는지 이제는 사이트만 출처로 달고 있는데 제대로좀 달아주세요. 기존 하드 업로더들 명성 더렵히지 않으셨으면합니다.
    717 주식갤러리의 최근 차트 해석법 [새창] 2020-04-30 00:59:39 1 삭제
    심지어 다중 아이디로 계속 홍보하고 있습니다... 출처좀 제대로 적으면 신고 안하겠는데 너무 노골적으로 홍보 입니다.
    716 주식갤러리의 최근 차트 해석법 [새창] 2020-04-30 00:56:13 4 삭제
    신고했습니다. 그리고 앞으로 이 사이트 홍보글은 계속 신고할 예정입니다.
    715 호텔 복도에서 벌어진 대참사 [새창] 2020-04-28 17:34:40 2 삭제
    아이디 여러개 돌려 가며 계속 홍보하는것 같네요.
    714 경기중 난입한 풍선 처리하기 [새창] 2020-04-20 02:28:37 1 삭제
    요센 사이트 홍보를 이런식으로 하는군요...
    713 아린일 [새창] 2020-03-27 19:24:09 0 삭제
    ㅋㅋㅋㅋㅋ 막짤 둘다 귀욤 터지네요 ㅋㅋㅋ
    712 Yes, I am Tzuyu. Making Video [새창] 2020-03-27 19:18:30 3 삭제
    트와이스 유툽 프로필 로고가 사라졌네요 ㅠ.ㅠ;;
    711 파이썬으로 크롤링 + 로그인 관련해서 질문이 있습니다.. [새창] 2020-03-25 18:18:09 0 삭제
    넵 페이지에 다른 로드되는게 너무많아서 확인이힘들기때문에 보통 xhr을보고 restful을 확인합니다. 보시면 요청과 응답이 쌍으로있기때문에 파라미터나 헤더를 확인하시기 편할거에요
    710 파이썬으로 크롤링 + 로그인 관련해서 질문이 있습니다.. [새창] 2020-03-25 17:59:19 0 삭제
    r.text는 텍스트 형태 이기 때문에 다루기가 까다로워서 res = requests.post(...).json() 이렇게 하시면 결과를 dict 형태로 다루실수 있습니다~
    709 파이썬으로 크롤링 + 로그인 관련해서 질문이 있습니다.. [새창] 2020-03-25 17:57:53 0 삭제
    아하.. 확인해보니 해당 페이지가 다이나믹 로딩 페이지라 그런것 같습니다. 다이나믹 페이지 로드는 일단 페이지가 로드 될때 기본적인 스크립트같은것들만 사용자에게 제공하고 페이지가 로드된 이후 자체 restful api 로 다시 서버에 쿼리를 날려서 데이터를 받아온뒤 페이지에 뿌려주는 방식을 말합니다.

    python requests 의 경우에는 js를 emulate 하지 않기 때문에 단순히 첫 페이지만 가져오게 되어 저런 다이나믹 데이터를 가져 오지 못합니다. '+'가 붙은 페이지를 로드 한 뒤 F12 를 눌러 네트워크 탭에 들어가신뒤 Filter 부분에 XHR 을 누르시고 페이지 중 clicks 라는 페이지를 클릭합니다.

    이후 response 를 보시면 아마 원하시는 결과가 html 이 아닌 json 형태로 되어 있을거에요. 그렇다면 우리는 이 부분만 가져오면 될것 같습니다.

    url = 'https://app.bitly.com/proxy/v3/clicks'

    data = { 'hash': '33EqBsL' } // <-- 클릭수를 보고 싶은 해쉬
    headers = {
    디버깅 모드 (F12)에서 가져온 해더
    }

    r = requests.post(url, data=data, headers=headers)
    print (r.text)

    이렇게 하면 저 같은 경우

    {"status_code": 200, "data": {"clicks": [{"user_clicks": 3, "global_hash": "T95fb", "hash": "2UemIHU", "user_hash": "2UemIHU", "global_clicks": 0}]}, "status_txt": "OK"}

    이런식으로 클릭수가 나오게 됩니다.

    만약 이 결과가 원치 않은 결과라면 이를 응용하여 다른 Restful API 패턴을 찾아서 동일하게 요청하시면 됩니다.
    708 파이썬으로 크롤링 + 로그인 관련해서 질문이 있습니다.. [새창] 2020-03-25 15:07:12 1 삭제
    ㅠㅠ 위에 말씀드렷듯이 쿠키를 이용하여 사용자를 체크 하기 때문에 이렇게 세션을 공개 하시면 다른 사람이 서버에 임의로 인증을 받을 수 있기 때문에 계정 정보가 노출 됩니다. 이글 보시면 윗 쿠키가 있는 댓글 지우시고 아래처럼 해주세요. (그리고 앞으로는 절대 쿠키나 세션값을 다른사람에게 공개하시면 안됩니다...)

    1. 지금 bitly 에 접속해서 로그아웃 한뒤, 구글 계정에 들어가 연결된 어플리케이션에서 bitly 를 제거 하고 다시 bitly로 로그인
    -> 세션을 초기화 하여 쿠키를 변경하기 위함 입니다.

    2. url = 'https://bitly.com/33EqBsL' <-- 뒤에 '+' 제거 후 아래 헤더를 이용해보세요.

    headers = {
     'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
     'accept-encoding': 'gzip, deflate, br',
     'accept-language': 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7',
     'cache-control': 'max-age=0',
     'cookie': '<cookie>', # <-- cookie 넣을 위치
     'referer': 'https://app.bitly.com/Bk3od2fhe6g/bitlinks/',
     'sec-fetch-dest': 'document',
     'sec-fetch-mode': 'navigate',
     'sec-fetch-site': 'same-origin',
     'sec-fetch-user': '?1',
     'upgrade-insecure-requests': '1',
     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
    }

    저는 이렇게 하면 네이버 페이지가 크롤링 되던데 원하시던게 맞나요?



    [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [다음10개▶]

    		 
    단축키 운영진에게 바란다(삭제요청/제안) 운영게 게시판신청 자료창고 보류 개인정보취급방침 청소년보호정책 모바일홈