다른 컴퓨터에서 내 Python 스크립트 작업

나는 둘 다 직장에서 집에서 그들에 작업 할 수 있도록 온라인 내 파이썬 스크립트를 저장하는 방법을 찾고 있어요. Mechanize와 아마도 Scrapy를 사용하여 (단순한) 웹 스크래핑 도구를 만들고 싶습니다.

약간의 연구를 한 후, 필자는 온라인 IDE가 필요하다고 생각합니다. 나는 c9.io. 발견 문제는 c9.io가 Mechanize로 페이지를 열고 읽는 것과 같은 아주 간단한 작업 일지라도 너무 느리다는 것입니다.

온라인으로 웹 스크래핑 스크립트를 작성하고 저장하고 실행하는 데 사용해야하는 아이디어가 있습니까?

직장에서 명령 줄을 사용하여 스크립트를 저장하거나 실행할 수 없음을 유의하십시오. 온라인에서 뭔가가 필요해.

2013-08-13 Theo

대부분의 온라인 IDE 및 유사한 환경은 웹 스크래핑과 같은 작업을 수행하는 데 속도가 느리거나 제한 될 수 있습니다. 어딘가에 * nix 셸 어카운트를 가지고 파이썬 스크립트를 실행할 수 있습니다. 또는 직장에서 가정용 컴퓨터로 ssh/tunnel/whatever을 설정하고 가정용 컴퓨터에서 실행하십시오. – abarnert

http://repl.it/languages/Python – scohe001

@Josh :'repl.it'는'scrapy'와'mechanize' 같은 써드 파티 모듈을 추가 할 방법이 없다고 생각합니다. 도움이 될 수 있습니다. – abarnert

https://scraperwiki.com/과 같은 소리가 정확히 필요한 것입니다. 심지어 내장 파이썬에 대한 몇 가지 좋은 스크래핑 모듈이 있습니다.

ScraperWiki는 파이썬 (다른 언어)에 스크레이퍼를 쓸 수있는 무료 도구입니다. 그런 다음 데이터를 API 또는 다운로드로 제공하고 일부 디스플레이 도구도 제공합니다. 그들의 환경은 스크립트 작성에 좋지 않지만 가정용 컴퓨터에서 작업하는 것과는 다릅니다.

출처

2013-08-13 20:33:50 CodeBeard

그 답변에서 @Torxed가 권장하는 라이브러리 lxml은 scraperwiki에서 제공됩니다. – CodeBeard

CodeBeard, 오늘 밤 Scraperwiki를 시험해 보겠습니다. 그것은 내가 찾고 있었던 바로 그 것이다. – Theo

안녕하세요, scraperwiki 용, 그들은 많은 언어를 지원합니다. 나와 같은 통계 학자에게 매우 도움이됩니다. –

다른 컴퓨터에서 내 Python 스크립트 작업

답변

관련 문제