1. 너비우선으로 바꾼다.

2. 병렬로 돌아갈 수 있거나 중간에 끊겨도 괜찮도록 바꾼다.

위 두가지는 9월 중에만 하면 된다.?

tags : 트위터 크롤러, 크롤러, twitter

1. 관계정보 넣는 것은 프로필,관계정보만 넣는다. => 트윗 정보는 여기서 넣지 않는다.

- 병렬로 처리될 수 있는 것을 구지 하나의 루틴으로 마무리 지을 필요가 없다.

2. 트윗 정보를 넣는 것은 해당 사람의 트윗을 긁어오는 메소드를 이용하여

n깊이의 사람들의 트윗을 넣는 것을 만든다.

SELECT target FROM followingrelation WHERE source IN (SELECT target FROM followingrelation WHERE source='kimjuha');

트위터 보조크롤러

기존 db에서 내가찍은사람의 n뎁스의사람들을 겹치지읺게 파일에 써준다

그파일을 읽어서 지금 db에도 제대로 있는 사람에 한해서 트윗을 100개 씩 긁어서 db 에 넣는다