web-scraping

1열

1답변

안드로이드/자바 :</p> <p>이 응용 프로그램은 정말 멋진이고 사용자에게 허용 :

작년에이 웹 페이지에서 클릭을 시뮬레이션 내가 벨기에 내 기차 회사에 대한 정보를 폐기 안드로이드 응용 프로그램을 만든 (http://www.cyrket.com/p/android/tof.cv.mpp/ 응용 프로그램 BETrains입니다) 기차의 다른 사람들과 대화를 나눠보십시오. (메시지 서버는 저에게 달렸습니다.) 그리고 대화는 트위터에서도 가능합니다 :

4열

2답변

Perl 웹 스크레이퍼, "스타일"태그 만있는 DIV의 내용을 추출 하시겠습니까?

나는 이것에 붙어있어 하루 종일되었습니다 .. 나는 아직도 펄에서 파싱/근근이 살아가는 데 새로운데, 나는 이것까지 생각했다. 나는 이것을 다른 perl 모듈 (tokeparser, tokeparser : 간단한, 웹 파서 및 일부 다른 사용자) ... 다음 문자열이 있습니다 (실제로 전체 HTML 페이지이지만 실제로 관련 부분을 보여줍니다 .. "text

0열

2답변

cURL 오류 - "호스트를 확인할 수 없음 : www.bbb.org (요청한 유형의 데이터 레코드가 없음")

http://www.bbb.org/us/Find-Business-Reviews/의 데이터에 cURL로 액세스하려고합니다. 이제 HTTPFox를 사용하여이 사이트에서 어떤 데이터를 보내고 있는지 확인했습니다. 이에 따라 페이지 배열 "POST"를 만든하지만 여기 배열입니다 ... 페이지 2,3,4,5 접근에 문제가 있습니다 -. $array = Array()

1열

2답변

로그인 PHP 내부 자바 스크립트

PHP로 내부 애플리케이션을위한 웹 스크래퍼를 만들었지 만, 페이지 중 하나에 자바 스크립트 로그인이 있습니다. 일반적인 방식으로 데이터를 자르기 위해 자발적으로 로그인하는 방법이 있습니까? 브라우저가 서버로 전송 무엇을 체크 아웃

1열

2답변

위키 백과의 기사에 대한 전체 변경 내역을 보려면 어떻게해야합니까?

위키피디아에서 인기있는 기사의 역사에있는 모든 페이지의 콘텐츠를 다운로드하고 싶습니다. 다른 말로하면 하나의 기사에 대한 모든 편집의 전체 내용을 얻고 싶습니다. 이 일을 어떻게 하죠? Wikipedia API를 사용하여이를 수행하는 간단한 방법이 있습니까? 나는 보았고 간단한 해결책으로 튀어 나온 것을 발견하지 못했습니다. 나는 또한 PyWikipedia

0열

3답변

.asp 페이지가 원격 .php 페이지를 호출합니다.

IIS 웹 서버 A에서 Apache 웹 서버로 데이터를 보내야합니다. B. 두 개의 서버가 서로 다른 물리적 상자에서 실행되며 정적 IP 주소가 다릅니다. 서버 A에서 실행중인 processForm.asp가 있습니다. 일부 데이터를 처리하고 웹 서버 B로 데이터를 보내려고합니다. processData.php (서버 B에서)를 처리하여 데이터를 처리하도록합니

3열

4답변

과장 기계와 같은 웹 사이트를 긁는 방법은 무엇입니까?

웹 사이트 스크래핑 (궁금한 점 등)에 대해 궁금합니다. 특히 Hype Machine 사이트의 작업을 수행하는 스크립트를 작성하고 싶습니다. 저는 실제로 소프트웨어 공학 학부 (4 학년)입니다. 그러나 웹 프로그래밍을 실제로 다루지는 않습니다. 그래서 Javascript/RESTFul API/모든 것들에 대한 나의 이해는 매우 제한적입니다. 왜냐하면 이론과

7열

4답변

웹 스크래핑에 "완벽한"언어가 있습니까?

저는 웹 스크래핑 (Ruby, PHP, Python)에 3 가지 언어를 사용했습니다. 솔직히 그 중 아무 것도 그 작업을 완벽하게 보이지 않습니다. Ruby는 뛰어난 기계 및 XML 구문 분석 라이브러리를 가지고 있지만 스프레드 시트 지원은 매우 열악합니다. PHP는 뛰어난 스프레드 시트 및 HTML 구문 분석 라이브러리를 가지고 있지만 WWW : Mech

4열

5답변

IE/.Net/C#을 사용하여 실제로 mutithreaded 웹 마이닝을 수행하는 방법은 무엇입니까?

IE 브라우저를 사용하여 웹에서 많은 양의 데이터를 채굴하고 싶습니다. 그러나 WatiN을 통해 수많은 IE 인스턴스가 생성되면 시스템이 충돌합니다. 이 작업을 수행하는 더 좋은 방법이 있습니까? WebRequests을 단순히 수행 할 수는 없습니다. 사이트에서 JS 기반 동작과 상호 작용해야하기 때문에 브라우저가 정말 필요합니다.

0열

1답변

자바를 사용하여 웹 검색을 탐색하는 방법

프로젝트에 대한 프랑스 법원의 소송을 긁을 필요가 있지만 Java로 법원의 검색 엔진을 탐색하는 방법을 알 수는 없습니다. Here's the search page 나는 조작해야합니다. 결과 페이지를 스크랩하기 시작하고 싶지만, URL만으로 Java에서 해당 페이지로 이동할 수는 없습니다. Java에서 내 날짜 매개 변수 (01/01/2003 - 30/06