1
웹킷을 사용하여 크롤러를 작성하고 있으며 웹킷 캐시를 처리합니까? 웹킷 기반 크롤러의 프록시로 squid를 사용해야합니까?webkit 크롤러가 squid 프록시를 사용해야합니까?
A
답변
0
QWebKit을 사용하고 있습니까? PyQt/PySide는 기본적으로 디스크 캐시를 사용하지 않습니다. 캐싱을 사용하려면 QNetworkDiskCache 개체를 QNetworkManager으로 설정해야합니다.
webkit.py 모듈의 소스 코드를 webscraping 라이브러리에서 보면 QWebkit에서 캐싱을 활성화하는 방법을 보여줍니다.
관련 문제
- 1. 각 스레드마다 다른 프록시를 사용하는 멀티 스레드 크롤러가 올바른 방법일까요?
- 2. WCF 서비스를 사용하려면 프록시를 사용해야합니까?
- 3. Squid 프록시 사용자에게 메시지 보내기
- 4. Node.js - HTTP가 Squid 프록시 인증 문제를 처리합니다.
- 5. PHP에서 간단한 크롤러가 링크를 반향합니다.
- 6. Squid : ssl로 인한 squid-3.HEAD의 컴파일 오류
- 7. squid/etc/hosts
- 8. 쿠키가있는 squid url_rewrite
- 9. squid url_rewrite_program excemption
- 10. 프록시 서버, URLfilter, squid
- 11. VPS의 squid 프록시 도움말
- 12. 무료 PHP 크롤러가 있습니까?
- 13. 웹 크롤러가 쿠키를 식별합니까?
- 14. urllib2/httplib은 Squid 프록시를 통해 HTTPS 연결에 HTTP 1.1을 어떻게 이야기 할 수 있습니까?
- 15. 인식 된 CSS3 속성에 대해 -webkit- 및 -moz-를 사용해야합니까?
- 16. "Range"HTTP header with squid
- 17. 특정 사이트의 프록시 인 Squid?
- 18. maven test behind proxy (squid)
- 19. 새 인증서를 Squid 리버스 프록시
- 20. Python urllib2 크롤러가 라우터를 크래시합니다.
- 21. 방문자가 크롤러가 아닌 브라우저인지 확인합니다.
- 22. 누크 크롤러가 '크롤링 중'으로 표시됩니다.
- 23. Facebook 크롤러가 Canonical 링크를 무시하도록하십시오.
- 24. PF,로드 밸런싱 된 게이트웨이 및 Squid
- 25. 오징어 리버스 프록시를 설치하는 방법은 무엇입니까?
- 26. MySQL 데이터베이스에 원격 연결하여 Squid 프록시 서버를 우회
- 27. False configured mod_rewrite/mod_proxy with squid proxy
- 28. 투명한 프록시를 사용하여 squid_session을 설정하는 방법
- 29. 웹 서비스 호출 중 Squid 프록시 IP 주소
- 30. squid 문서 루트를 구성하는 방법은 무엇입니까?