1
나는 웹 사이트를 크롤링하고, 데이터를 수집하고, 색인을 생성하고, 내 애플리케이션 내에서 검색 할 수 있도록 해주는 도구와 같은 검색 엔진을 연구 중이다.
Net::HTTP
또는 Hpricot
을 사용하여 웹 사이트를 크롤링합니다.
크롤링중인 사이트는 포럼이며, 각 스레드에 대한 조회수와 응답 수가 유지됩니다. 언제든지 크롤링하여 조회수가 증가 할 것입니다.페이지 뷰를 늘리지 않고 웹 크롤링
이 문제를 방지 할 수있는 방법이 있습니까? 조회수를 늘리지 않고 검색 엔진이 어떻게 크롤링합니까?