검색 엔진이 인터넷을 통해 웹 사이트를 찾는 방법

Question

웹 파서 (한 사이트에서 다른 사이트로 웹에 크롤링하는 응용 프로그램)를 작성하려고합니다.
어떻게 인터넷에서 가능한 도메인/IP 목록을 찾을 수 있습니까?
검색 엔진이 웹 사이트를 찾는 방법 (시작 지점에 대해 신뢰할 수있는 registred IP/Domains 목록으로 사용하는 것)? 마이클 P의 코멘트 알 수 있듯이

감사

Answer 1

, 당신의 목적이 무엇인지에 따라 달라집니다.

저희 회사는 최근 유명 웹 사이트에 사용되는 타사 도구에 대한 질문에 답변하고 싶습니다. 트래픽이 많은 웹 사이트를 찾기 위해 시작 지점으로 Alexa을 사용하고 회사에서 요청한 특정 질문에 대한 답변을 제공하는 파서를 만들었습니다. 그러한 목록에서 시작하면 웹 크롤러가 만나는 링크를 따라 웹 사이트에 대한 지식을 넓히도록 프로그래밍 할 수 있습니다.

문제를 생각하는 데 도움이되기를 바랍니다.