1
가짜 404 헤더를 보내는 페이지에서 크롤러가 html을 읽을 수있는 방법이 있습니까? implode 및 curl 및 file_get_contents을 사용하여 여전히 헤더 404 오류가 발생했습니다. similar SO reference link가짜 404 헤더를 보내는 웹 페이지를 읽는 방법
A
답변
1
curl (또는 Guzzle)을 사용하고 실제로 요청과 함께 사용자 에이전트를 추가 할 수 있습니다. 사용자 에이전트가 제공되지 않거나 차단 된 경우 일부 사이트에서 404 (또는 기타 오류)를 반환합니다.
관련 문제
- 1. PHP에서 웹 페이지를 읽는 방법
- 2. 맞춤 404 페이지를 만들고 404 메시지를 보내는 방법은 무엇입니까?
- 3. 브라우저 기본 404 페이지를 표시하는 404 헤더를 생성하십시오.
- 4. css로 이메일 본문에 웹 페이지를 보내는 방법
- 5. 옥타브에서 Javascript 기반 웹 페이지를 읽는 방법?
- 6. 전체 웹 페이지를 변수로 읽는 방법
- 7. 서버에 404 페이지를 표시하는 방법
- 8. 자바에서 HTTP 헤더를 보내는 방법
- 9. esb에서 http 헤더를 읽는 방법
- 10. $ resource로 응답 헤더를 읽는 방법?
- 11. Wamp 404 페이지를 변경하는 방법 내 wordpress 404 페이지를 표시하려면
- 12. android에서 가짜 전화 브로드 캐스트를 보내는 방법
- 13. 내 Android 기기에 가짜 SMS를 보내는 방법
- 14. 빈 헤더를 보내는 컬 (웹 서버 테스트)
- 15. 웹 요청 집합에 대한 ASP.Net의 인증 헤더를 보내는 방법
- 16. 웹 페이지에서 클라이언트 측 파일 헤더를 읽는 방법?
- 17. 웹 서비스 응답에서 HTTP 응답 헤더를 읽는 방법?
- 18. netcat에 헤더를 보내는 스크립트
- 19. 서버에서 differen 페이지를 보내는 방법
- 20. 요청 헤더를 읽는 중
- 21. PDF에서 모든 페이지를 읽는 방법?
- 22. 요청 헤더를 안정적인 API로 보내는 방법
- 23. JAVA에서 HTTP를 사용하여 헤더를 보내는 방법
- 24. 헤더를 사용하여 여러 파일을 보내는 방법
- 25. jQuery Ajax로 인증 헤더를 보내는 방법
- 26. LotusScript로 보내는 메일에 X- 헤더를 추가하는 방법
- 27. PHP 프록시를 통해 헤더를 보내는 방법?
- 28. websocket 토네이도 파이썬에서 json 헤더를 보내는 방법?
- 29. C#에서 asf 헤더를 읽는 방법?
- 30. c에서 TIFF 파일 헤더를 읽는 방법?
가짜 헤더를 어떻게 추정 했습니까? – SparKot
@DoSparKot 웹 페이지가 표시되기 때문에 –