Facebook 웹 크롤러

Question

페이스 북에 로그인하고 일부 가족의 온라인 상태를 확인하기 위해 웹 크롤러를 만들려고합니다. 부모님을 위해 계획중인 프로젝트입니다. 검색 할 때, 나는 이것이 친구의 온라인 존재에 대한 FQL 쿼리를 통해 달성 할 수 있음을 발견했으나 올해 4 월경에 삭제 될 것으로 보인다. 그래서 저는 파이썬에서 기본적인 크롤러를 직접 만들어서 채팅에서 온라인 친구의 HTML 정보를 얻을 수 있다고 생각했지만 로그인을 시도한 후에 HTML 코드를 인쇄하려고하면 매우 많은 양의 "BigPipe"에 대해 언급 한 뒤죽박죽 된 HTML과 javascript 나는 BigPipe가 페이지를 페이지 레트로 나누는 것을 본다. 그러나 나는이 정보를 어떻게 만들지에 대해 약간 혼란스러워한다.

내 질문에 FQL 쿼리 이외의 온라인 상태를 얻는 다른 방법을 알고있는 사람이 누구든지 Facebook을 크롤링하려고 했습니까?이 BigPipe 응답으로 사이트를 크롤링하려고 시도 했습니까?

당신은 파이어 폭스 확장 기능을 쓸 수 있습니다, 사전에 제이크

Answer 1

을 주셔서 감사합니다. 자바 스크립트 없이는 FB를 다룰 수 없습니다. 그게 거의 대부분의 전통적인 긁기 방법을 배제합니다.

Answer 2

PyQt4.QtWebKit을 사용하면 자바 스크립트를 처리하는 데 도움이됩니다. 여기

그것의 몇 가지 기본적인 사용법 : webkit-pyqt-rendering-web-pages

문서 : PyQt4-qtwebkit.html

Answer 3

난 그냥 페이스 북 그룹 구성원에서 사용자 데이터를 필요로 내 학교 프로젝트를 완료했다. 데이터 추출을 위해 웹 크롤링 도구 인 Octoparse을 사용했지만 프로그래밍이 필요없는 응용 프로그램이므로 Facebook에서 여러 유형의 데이터를 크롤링하는 데 사용할 수 있습니다. 이 자습서로 이동할 수 있습니다. Facebook Scraping Case Study | Scraping Facebook Groups