일단.. 크롤링하는 사이트가 공공기관 입니다.
거기서 어떠한 값들을 주기적으로 그리고 지속적으로 긁어와야합니다.
(저의 크롤링 행위는 한번에 많으면... 300개 정도의 요청을 디비에 요청해서 받아오는 형식이고
디비에서 한번 주는 데이터의 크기도 해봤자... 문자열 15개 정도의 크기?입니다.)
제 생각에 저의 크롤링으로 디비에 무리를 주거나 그러지는 않을 것 같은데... 이건 순전히 저의 생각이고..
robots.txt가 존재하는지 체크해봤는데 없었습니다.
흠.. 이런 상황에서 제가 이 사이트를 계속 크롤링해도 되는건지도 모르겠습니다.
제가 혹시 고려해야하는 부분이라던가 검토해봐야할 부분이 있을까요??
글쓰기