게시판 즐겨찾기
편집
드래그 앤 드롭으로
즐겨찾기 아이콘 위치 수정이 가능합니다.
파이썬으로 크롤링 + 로그인 관련해서 질문이 있습니다..
게시물ID : programmer_23083짧은주소 복사하기
작성자 : 훗날닭집사장
추천 : 0
조회수 : 1459회
댓글수 : 14개
등록시간 : 2020/03/24 15:58:12
옵션
  • 본인삭제금지
크롤링 작업중에,

 


기존에는 로그인 없이 되던 부분이 이제는 접근권한 있는 계정으로 로그인을 해야만 보이는데요.


 


https://bitly.com/33EqBsL+


 


위 링크의 경우 저 역시도 접근권한 있는 계정으로 로그인하지 않으면, 제가 원하는 정보 (클릭 수)가 보이지 않습니다.


 


 


근데 이게 비틀리 자체 계정으로 로그인 하는게 아니라,


 


로그인 -> 구글 연동계정 ->로그인


 


이라는 과정으로 로그인을 해야하다 보니.. 기존에 파이썬 크롤링에서 사용되던 로그인 기능으로는 어떻게 로그인을 해야할지 모르겠더군요..


 


심지어 구글 연동계정 로그인의 경우 ID/PW를 입력하는 창이 뜨기 이전에 이미 로그인했던 계정이 있으면 그 계정에 대한 정보가 먼저 출력되기에..


 


그래서 브라우저에서 먼저 로그인 한 상태로 하면 되지 않을까? 생각 했습니다만..


 


html = requests.get('https://bit.ly/33EqBsL+').text 


 


제가 원하는 결과를 크롤링에서 못읽어와서 확인해보니 


 


역시나 로그인을 요구하는 창에 대한 html 태그들이 출력이 되더군요..


 


이거.. 구글 연동 로그인이라는 문제가 있는데.. 정녕 코드에서 로그인 후에 접속시킬 방법이 있을까요...ㅠㅠ

전체 추천리스트 보기
새로운 댓글이 없습니다.
새로운 댓글 확인하기
글쓰기
◀뒤로가기
PC버전
맨위로▲
공지 운영 자료창고 청소년보호