Scrapyd

Question

업데이트 : 이제이 명령을 실행하고 :

scrapyd-deploy <project_name> 

을 그리고이 오류 점점 :

504 Connect to localhost:8123 failed: General SOCKS server failure 

---

내가 통해 내 scrapy 거미를 배포하려고를 scrapyd-deploy에서 사용하는 명령은 다음과 같습니다.

scrapyd-deploy -L <project_name> 

나는 다음과 같은 오류 메시지가 : 포트 'http://localhost:8123'에 Privoxy를 프록시로, 내가 토르와 Privoxy를 실행하고

[settings] 
default = <project_name>.settings 

[deploy:<project_name>] 
url = http://localhost:8123 
project = <project_name> 
eggs_dir = eggs 
logs_dir = logs 
items_dir = items 
jobs_to_keep = 5 
dbs_dir  = dbs 
max_proc = 0 
max_proc_per_cpu = 4 
finished_to_keep = 100 
poll_interval = 5 
http_port = 8123 
debug  = on 
runner  = scrapyd.runner 
application = scrapyd.app.application 
launcher = scrapyd.launcher.Launcher 

[services] 
schedule.json  = scrapyd.webservice.Schedule 
cancel.json  = scrapyd.webservice.Cancel 
addversion.json = scrapyd.webservice.AddVersion 
listprojects.json = scrapyd.webservice.ListProjects 
listversions.json = scrapyd.webservice.ListVersions 
listspiders.json = scrapyd.webservice.ListSpiders 
delproject.json = scrapyd.webservice.DeleteProject 
delversion.json = scrapyd.webservice.DeleteVersion 
listjobs.json  = scrapyd.webservice.ListJobs 

:

Traceback (most recent call last): 
    File "/usr/local/bin/scrapyd-deploy", line 269, in <module> 
    main() 
    File "/usr/local/bin/scrapyd-deploy", line 74, in main 
    f = urllib2.urlopen(req) 
    File "/usr/lib/python2.7/urllib2.py", line 127, in urlopen 
    return _opener.open(url, data, timeout) 
    File "/usr/lib/python2.7/urllib2.py", line 410, in open 
    response = meth(req, response) 
    File "/usr/lib/python2.7/urllib2.py", line 523, in http_response 
    'http', request, response, code, msg, hdrs) 
    File "/usr/lib/python2.7/urllib2.py", line 448, in error 
    return self._call_chain(*args) 
    File "/usr/lib/python2.7/urllib2.py", line 382, in _call_chain 
    result = func(*args) 
    File "/usr/lib/python2.7/urllib2.py", line 531, in http_error_default 
    raise HTTPError(req.get_full_url(), code, msg, hdrs, fp) 
urllib2.HTTPError: HTTP Error 404: Not found 

다음은 내 scrapy.cfg 파일입니다. wget을 수행하고 아무 문제없이 해당 페이지를 다운로드 할 수 있습니다. 프록시가 제대로 작동하고 인터넷에 연결할 수 있습니다. 더 자세한 설명이 필요한지 물어보십시오.

감사합니다.

Answer 1

분명히 이것은 기본 명령을 실행하는 것을 잊었 기 때문입니다. 배치 페이지가 아니라 문서의 개요 페이지에서 언급 되었기 때문에 놓치기 쉽습니다. 다음은 명령입니다

scrapyd 

Answer 2

urllib2.HTTPError: HTTP Error 404: Not found

URL에 도달하지 않았습니다.

Answer 3

/var/log/polipo/polipo.log에서 흥미로운 것이 있습니까? tail -100 /var/log/polipo/polipo.log에서 오는 것은 무엇입니까?

Answer 4

504 Connect to localhost:8123 failed: General SOCKS server failure 

당신은 localhost:8123에 연결 Privoxy를 요청하고; Polipo는 Torip에 요청을 전달하고 Polipo에서 정당하게 반환 한 실패 결과를 반환합니다 ("일반 SOCKS 서버 오류").

url = http://localhost:8123 

이것은 분명히 의미하지 않습니다.

http_port = 8123 

나는 Polipo와 같은 포트에서 scrapyd를 실행하고 싶지 않을 것이라고 확신합니다.