jsoup으로 크롤링해서 가져오는데요 페이지가 좀 많고 계속 늘어납니다. url에서 pageNum=1부분에서 숫자만 늘려주면 다음페이지로 넘어가기때문에
접근이 어려운건아닌데 한페이지에 크롤링해서 가져오는 데이터가 한줄에 3개씩 총 50줄인데요 이걸 arrayList 3개에 크기 제한없이 50줄씩 담고싶은데
다음페이지로 넘어가면 51번째부터 누적시켜 받아야하는데 어떻게 해야할지 모르겠어서요
arraylist말고 map이나 다른 알고리즘 추천해주셔도 돼요.
페이지에 있는 데이터는 하루에도 몇개씩 계속 올라와서 페이지의 수나 배열의 크기가 정해지지 않은 것으로 사용해야 할거같아요
public void db() throws IOException{
for(int page=1;page<54;page++){
for(int i=0;i<50;i++){
address.add(doc.select(".title a").get(i).text());
sinho.add(doc.select(".name").get(i).text());
date.add(doc.select(".date").get(i).text());
}
}
for(int i=0;i<address.size();i++){
// System.out.println(address.get(i));
// System.out.println(sinho.get(i));
// System.out.println(date.get(i));
System.out.println(address.get(i)+" "+sinho.get(i)+" "+date.get(i));
}
}
글쓰기