스크립트 태그가있는 HTML 파일

Question

golang을 사용하여 웹 사이트 크롤러를 개발 중입니다. 내가 몇몇 웹 사이트를 크롤링하려고 할 때, 나는 이상한 결과를 얻고있다. 일부 웹 사이트의 루트 URL은 아래와 같이 스크립트 태그를 반환합니다.

<script>window.location="index.php";</script> 

그리고 index.php 페이지로 리디렉션됩니다. 사람들이이 접근 방식을 사용하여 사용자를 색인 페이지로 리디렉션하는 이유는 무엇입니까? 이 접근법의 보안 취약점은 무엇입니까? 또한 크롤러에서이 상황을 어떻게 처리 할 수 ​​있습니까?

Answer 1

사용자를 다른 페이지로 리디렉션하여 실제로 페이지를 숨기려면 누구나 자바 스크립트를 끄고 볼 수 있기 때문에이 방법을 사용할 수 없으므로 보안 위험이있을 수 있습니다. 그러나 어떤 이유로 리디렉션하려는 경우에는 문제가되지 않습니다.

크롤러의 경우 소스 코드에서 정규식을 사용하여 리디렉션을 검색하면되지만 모든 경우를 다루는 것은 매우 어려울 수 있습니다.