주인 말 잘듣는 충직한 허스키 [새창]

저 사람 쓴글 보세요 그리고 저 사람 제가 한두번 본게 아니라 다중 아이디로 계속 저러고 있어요 계속 신고 하는데 계속 아이디 만들어서 그러는거라 이렇게 댓글로 하는거에요.

721 2020-04-30 03:25:11 5

주인 말 잘듣는 충직한 허스키 [새창]

출처를 이용한 홍보 게시글 입니다. 적당히좀 홍보하세요 .신고했습니다.

720 2020-04-30 01:47:10 0

주식갤러리의 최근 차트 해석법 [새창]

좀 가렸습니다. 출처 사이트 운영자 하X근 ([email protected])님 적당히 홍보하세요.

718 2020-04-30 01:01:59 1

주식갤러리의 최근 차트 해석법 [새창]

기존에는 안드로이드 앱 사이트 홍보 하다가 신고 먹었는지 이제는 사이트만 출처로 달고 있는데 제대로좀 달아주세요. 기존 하드 업로더들 명성 더렵히지 않으셨으면합니다.

717 2020-04-30 00:59:39 1

주식갤러리의 최근 차트 해석법 [새창]

심지어 다중 아이디로 계속 홍보하고 있습니다... 출처좀 제대로 적으면 신고 안하겠는데 너무 노골적으로 홍보 입니다.

716 2020-04-30 00:56:13 4

주식갤러리의 최근 차트 해석법 [새창]

신고했습니다. 그리고 앞으로 이 사이트 홍보글은 계속 신고할 예정입니다.

715 2020-04-28 17:34:40 2

호텔 복도에서 벌어진 대참사 [새창]

아이디 여러개 돌려 가며 계속 홍보하는것 같네요.

714 2020-04-20 02:28:37 1

경기중 난입한 풍선 처리하기 [새창]

요센 사이트 홍보를 이런식으로 하는군요...

713 2020-03-27 19:24:09 0

아린일 [새창]

ㅋㅋㅋㅋㅋ 막짤 둘다 귀욤 터지네요 ㅋㅋㅋ

712 2020-03-27 19:18:30 3

Yes, I am Tzuyu. Making Video [새창]

트와이스 유툽 프로필 로고가 사라졌네요 ㅠ.ㅠ;;

711 2020-03-25 18:18:09 0

파이썬으로 크롤링 + 로그인 관련해서 질문이 있습니다.. [새창]

넵 페이지에 다른 로드되는게 너무많아서 확인이힘들기때문에 보통 xhr을보고 restful을 확인합니다. 보시면 요청과 응답이 쌍으로있기때문에 파라미터나 헤더를 확인하시기 편할거에요

710 2020-03-25 17:59:19 0

파이썬으로 크롤링 + 로그인 관련해서 질문이 있습니다.. [새창]

r.text는 텍스트 형태 이기 때문에 다루기가 까다로워서 res = requests.post(...).json() 이렇게 하시면 결과를 dict 형태로 다루실수 있습니다~

709 2020-03-25 17:57:53 0

파이썬으로 크롤링 + 로그인 관련해서 질문이 있습니다.. [새창]

아하.. 확인해보니 해당 페이지가 다이나믹 로딩 페이지라 그런것 같습니다. 다이나믹 페이지 로드는 일단 페이지가 로드 될때 기본적인 스크립트같은것들만 사용자에게 제공하고 페이지가 로드된 이후 자체 restful api 로 다시 서버에 쿼리를 날려서 데이터를 받아온뒤 페이지에 뿌려주는 방식을 말합니다.

python requests 의 경우에는 js를 emulate 하지 않기 때문에 단순히 첫 페이지만 가져오게 되어 저런 다이나믹 데이터를 가져 오지 못합니다. '+'가 붙은 페이지를 로드 한 뒤 F12 를 눌러 네트워크 탭에 들어가신뒤 Filter 부분에 XHR 을 누르시고 페이지 중 clicks 라는 페이지를 클릭합니다.

이후 response 를 보시면 아마 원하시는 결과가 html 이 아닌 json 형태로 되어 있을거에요. 그렇다면 우리는 이 부분만 가져오면 될것 같습니다.

url = 'https://app.bitly.com/proxy/v3/clicks'

data = { 'hash': '33EqBsL' } // <-- 클릭수를 보고 싶은 해쉬
headers = {
디버깅 모드 (F12)에서 가져온 해더
}

r = requests.post(url, data=data, headers=headers)
print (r.text)

이렇게 하면 저 같은 경우

{"status_code": 200, "data": {"clicks": [{"user_clicks": 3, "global_hash": "T95fb", "hash": "2UemIHU", "user_hash": "2UemIHU", "global_clicks": 0}]}, "status_txt": "OK"}

이런식으로 클릭수가 나오게 됩니다.

만약 이 결과가 원치 않은 결과라면 이를 응용하여 다른 Restful API 패턴을 찾아서 동일하게 요청하시면 됩니다.

708 2020-03-25 15:07:12 1

파이썬으로 크롤링 + 로그인 관련해서 질문이 있습니다.. [새창]

ㅠㅠ 위에 말씀드렷듯이 쿠키를 이용하여 사용자를 체크 하기 때문에 이렇게 세션을 공개 하시면 다른 사람이 서버에 임의로 인증을 받을 수 있기 때문에 계정 정보가 노출 됩니다. 이글 보시면 윗 쿠키가 있는 댓글 지우시고 아래처럼 해주세요. (그리고 앞으로는 절대 쿠키나 세션값을 다른사람에게 공개하시면 안됩니다...)

1. 지금 bitly 에 접속해서 로그아웃 한뒤, 구글 계정에 들어가 연결된 어플리케이션에서 bitly 를 제거 하고 다시 bitly로 로그인
-> 세션을 초기화 하여 쿠키를 변경하기 위함 입니다.

2. url = 'https://bitly.com/33EqBsL' <-- 뒤에 '+' 제거 후 아래 헤더를 이용해보세요.

headers = {
 'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
 'accept-encoding': 'gzip, deflate, br',
 'accept-language': 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7',
 'cache-control': 'max-age=0',
 'cookie': '<cookie>', # <-- cookie 넣을 위치
 'referer': 'https://app.bitly.com/Bk3od2fhe6g/bitlinks/',
 'sec-fetch-dest': 'document',
 'sec-fetch-mode': 'navigate',
 'sec-fetch-site': 'same-origin',
 'sec-fetch-user': '?1',
 'upgrade-insecure-requests': '1',
 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
}

저는 이렇게 하면 네이버 페이지가 크롤링 되던데 원하시던게 맞나요?