온라인 도구 또는 프로그래밍 방식으로 다른 사이트에 대한 웹 페이지 링크 확인

Question

내가 원하는 것은 하나의 웹 사이트 예제 www.abc.com 모든 페이지를 크롤링하고 모든 페이지에 다른 도메인 코드의 인스턴스가 있는지 확인하는 것입니다. 예를 들어 사이트에 www.xyz.com에 대한 참조가 있으면이 페이지가 다른 URL/도메인을 참조하고 있음을 나타내야합니다.

는 PHP, 난이 연구를 수행 한 사용하고 싶지만 내가 찾을 수있는 모든 당신이 사용하는 어떤 언어 깨진 링크 검사기

Answer 1

입니까? 너 뭐 해봤 니?

이 아래로 두 단계로 제공 :

1. 웹 페이지를 가져옵니다. 많은 현대 언어 라이브러리는 URL의 패턴과 일치하는 문자열을 검색
2. 검색 페이지의 텍스트를 등 PHP 등 많은 언어로 파이썬 .NET에서 WebRequest, urllib, cURL을이 작업을 수행 할 수 있습니다. 정규 표현식이 여기에 있습니다. PHP에서는 preg_match()을 사용합니다.