scraper

0열

1답변

다른 사이트의 iMDb-Scraper가 있습니다. 그것은 아주 잘 작동했고 이제는 iMDb가 html 출력을 변경했고 정규 표현식은 더 이상 포스터를 찾지 못했습니다. 내가 정규식에서 멍청한 놈, 그래서 아마 누군가가 나에게 도움이 라인 $arr['poster'] = $this->match('/img_primary">.*?<img src="(.*?)".*?

-1열

1답변

입구에 양식을 제출하여 웹 페이지를 웹 스크랩하는 방법은 무엇입니까?

나는이 페이지를 웹 스크랩하는 방법을 알아 내려고 노력 해왔다 : sick.com 나는 그것을 알 수 없다. 나는 비주얼 웹 리퍼를 시도했지만 쿠키를 기억하지 못하기 때문에 제출 양식을 통과하지 못합니다. 아이디어가 있습니까? Sick.com은 데이터를 추출해도 괜찮습니다. 그러나 우리에게 데이터베이스를 제공하는 것은 게으른 습관입니다.

0열

1답변

이 스크래퍼 프로그램에서 lxml로 텍스트를 추출하는 방법은 무엇입니까?

내가이 페이지에서 특정 요소의 텍스트 데이터를 긁어 위해 노력하고 있어요 (사용 scraperwiki) import requests from lxml import html response = requests.get(http://portlandmaps.com/detail.cfm?action=Assessor&propertyid=R246274) tree

3열

5답변

웹 스크레이퍼 멀티 스레딩?

나는 웹 스크래퍼를 일반적인 스레드 (예 : 스레드 스크래핑 = 새로운 스레드 (함수);)가 아닌 매우 많은 스레드가있는 스레드 풀과 같이 멀티 스레드로 만들려고 생각해 왔습니다. 내 스크레이퍼는 for 루프를 사용하여 페이지를 긁습니다. for (int i = (int)pagesMin.Value; i <= (int)pagesMax.Value; i++)

0열

2답변

textscraper에서 중복을 방지하거나 삭제 하시겠습니까?

폴더의 텍스트 파일을 구문 분석하고 특정 검색 단어 주위에 미리 정의 된 수의 단어를 저장하는 코드가 있습니다. 예를 들어 "date"및 "year"와 같은 단어를 찾습니다. 같은 문장에서 두 단어를 모두 찾으면 문장을 두 번 저장할 것입니다. 또한 문장에서 몇 번이나 같은 단어가 사용 되었다면 여러 번 저장하게됩니다. 이렇게하면 스크레이퍼로 엄청난 양의

3열

1답변

레일즈 - 렌더 : content_type은 아무런 효과가 없습니다.

다른 웹 사이트를 긁어 내고 RSS 피드를 렌더링하는 Ruby/Rails 앱을 개발 중입니다. 이 응용 프로그램은 Heroku를 기반으로하므로 RSS 시스템을 파일 시스템에 덤프하고 자산으로 제공하는 대신 컨트롤러를 통해 RSS 피드를 생성합니다. 그러나 render :content_type 해시를 설정하면 아무 효과가 없습니다. 응답의 콘텐츠 유형은 te

0열

2답변

Facebook 스크레이퍼를 동적 인 인증 된 페이지로 만드는 방법

사용자가 입력하기 전에 인증 및 이메일 확인이 필요한 소셜 네트워크가 있습니다. 내부에 들어가면 사용자는 친구의 콘텐츠 만 볼 수 있습니다. 실제로는 소리가 나지 않더라도 실제로는 아주 간단합니다. 여기에 필터 전에 내 인증합니다은 다음과 같습니다 def authenticate if logged_in? redirect_to authent

1열

1답변

PHP 스크래퍼 스크립트에 무슨 문제가 있습니까?

그래서 여기 내 PHP 스크립트입니다 : <?php function scrape(){ $f=fopen("list.txt","r") or exit("Unable to open file!"); while (!feof($f)) { $site=stream_get_line($f,4096,"\n"); $url="www.maje

-2열

1답변

웹 페이지 긁힘 : Javascript?

HTML 페이지에서 일부 데이터를 추출하고 싶습니다. PHP로 시도했지만이 페이지는 특정 네트워크에 연결되어있는 경우에만 사용할 수 있기 때문에 문제가 발생합니다. 불행히도 클라이언트가 네트워크에 연결되었지만 서버가 아니기 때문에 PHP 요청이 실패합니다. 제 질문은 : php가 아닌 javascript로 페이지를 긁어 내려고하면 내 요청이 내 클라이언트

1열

1답변

XQuery에서 소수의 노드 값을 추가 한 후에 고유 한 값을 얻는 방법? 아래의 XML로

: <mo> <customers> <customer cno="2222"> <cname>Charles</cname> <street>123 Main St.</street> <city>Wichita</city> <zip>67226</zip> <phone>316-636-5555</ph