2012-05-12 2 views
0

사용자가 집중 검색을 수행 할 수 있도록 이메일에 URL을 크롤링하는 도구를 쓰고 있습니다. 방문한 사용자에게 크롤러임을 알려서 사용자가 메일 링리스트에 가입하거나 가입을 취소하거나 URL의 다른 작업을 수행하지 않도록 할 수있는 방법이 있습니까?메일 링리스트의 사람을 가입 취소하는 것과 같은 일을하는 URL 크롤링을 피할 수있는 방법

그렇지 않으면 일반적으로 URL이 특정 행동을 취하기를 원하는 사람이 방문하기위한 것이라는 사실을 발견하는 현명한 방법이 있습니까?

+0

전자 메일 링크를 다루는 고객은 전자 메일 링크를 처리 할 때 고객을 구독/무단자로 구독하는 것이 가장 바람직하지 않을 수 있습니다. 사용자가 전자 메일을 스팸으로 표시하기 전에 스팸을 받고 링크를 크롤링한다고 가정하면 스팸 메시지의 링크를 방문하면 전자 메일 주소가 유효하고 사용자가 가입 할 수 있다고 신호 할 수 있습니다. * 더 많은 스팸 메일! ** 까다로운 상황으로, 전자 메일 컨텐츠를 실제로 연구해야하며 잘못된 링크를 방문하지 않아야합니다. – Kiril

답변

0

일반적으로 아니오.

주어진 URL이 특별히 "않는"것인지 추측 할 방법이 없습니다 (예 : '구독 취소'와 같은 패턴을 찾을 수는 있지만 신뢰할 수는 없습니다).

HTTP 요청을 할 때 설정할 수있는 "나는 로봇"플래그가 없습니다.

1

어쨌든 도움이되는 한 가지 방법은 사이트의 루트에서 사용할 수있는 robots.txt 파일을 따르는 것입니다.

사이트 작성자는 크롤러가 들어가기를 원하지 않는 곳에서 멀어 지도록이 설정을해야합니다.

스튜어트.

관련 문제