Scrapy : 명령이 이전 내보내기 파일을 덮어 쓰려면

Question

셋업

I 터미널 (맥 OS)에서 표준 명령에 의해 .csv 파일로 내 데이터를 내보낼, 예를 들어,

scrapy crawl spider -o spider_ouput.csv 

---

새로운 spider_output.csv Scrapy 기존 spider_output.csv에 추가 수출 문제.

나는 두 가지 솔루션을 생각할 수

,

1. 명령 Scrapy는
2. 명령 터미널에 (기존 spider_output.csv 이전에 내가 읽었습니다

크롤링을 제거하는 대신 APPEND의 덮어 놀랍습니다.) Scrapy 현재 isn't able 1. 어떤 사람들은 workarounds을 제안했지만, 나는 it을 사용할 수없는 것 같습니다.

해결책 2에 answer을 찾았지만 제대로 작동하지 않습니다.

누군가 나를 도울 수 있습니까? 아마도 제가 생각하지 못했던 세 번째 해결책이 있을까요?

Answer 1

이 기능에 대한 scrapy와 개방 문제가 있습니다 : https://github.com/scrapy/scrapy/issues/547

문제 스레드에서 제안 된 몇 가지 해결책이 있습니다

scrapy runspider spider.py -t json --nolog -o - > out.json 

하거나 scrapy 거미 실행하기 전에 출력을 삭제합니다

은

rm data.jl; scrapy crawl myspider -o data.jl