URL 검색 서비스에 대한 유용한 정보 어떻게 공격 벡터가되는 것을 피하기 위해?

Question

URL이 주어지면 텍스트를 검색하고 사용자에게 콘텐츠에 대한 통계를 제공하는 웹 도구를 사용해 보겠습니다.

내 상자에서 인터넷상의 임의의 URL로 GET 요청을 시작하는 방법을 사용자에게 제공하면 공격의 벡터로 사용할 수 있습니다 (예 : http://undefended.box/broken-sw/admin?do_something_bad).

이 위험을 최소화 할 수있는 방법이 있습니까? 공개 URL 검색 기능을 제공 할 때 모범 사례가 있습니까?

내가 생각 한 몇 가지 아이디어 :

• 은 (그런 일이있는 경우) 해당 사이트의 블랙리스트/화이트리스트를 확인하는 특정 URL 패턴
• 을 수락하거나 거부 robots.txt
• 을 기리는은 잘 알려진 타사의 공개 웹 프록시를 통해 이러한 보호 장치를 이미 구축했다고 가정하고

도움 주셔서 감사합니다.

편집 : 링크 된 스크립트, 이미지 등을 다운로드하거나 평가하지 않고 HTML 또는 텍스트 콘텐츠 만 평가합니다. HTML 인 경우 HTML 구문 분석기를 사용합니다.

Answer 1

문서의 텍스트에 대한 통계가 입니까? HTML 파서를 사용하여 평가할 예정입니까?

분석 대상 텍스트 만 추가 링크, 평가 스크립트 등을 다운로드하지 않고도 위험이 덜 심각합니다.

안티 바이러스 프로그램을 통해 다운로드 한 각 파일을 전달하는 것이 아플 수도 있습니다. 또한 GET을 특정 콘텐츠 유형으로 제한해야합니다 (즉, 바이너리를 다운로드하지 말고 어떤 종류의 텍스트 인코딩인지 확인해야합니다).