탐색 작업을 자동화하는 방법은 무엇입니까?

Question

몇 주 동안 탐색 작업을 자동화하려고합니다. 작업은 간단합니다 : 로그인, 링크 클릭, 변수 입력 및 제출, 로그 아웃. 이 작업을 수행하는 웹 사이트를 만들어야합니다 (더 단순한 인터페이스) 웹 사이트에서 서블릿을 사용하고 웹 사이트 코드에 액세스 할 수 없음을 명심하십시오. 처음에는 CURL을 시도했지만 curl에 일부 Ajax 요소가 있었기 때문에 해당 내용을 표시 할 수 없었습니다. .NET Webdriver, JUnit, Selenium 등을 시도했지만 모두 Ajax 요소 렌더링에 실패했습니다. perl과 python을 기계화 해 보았습니다. perl은 작동하지 않지만, 나는 파이썬으로 동적 인 내용을 얻을 수있었습니다. 문제는 내가 Javascript로 시작하는 Javascript 실행 링크가 있다는 것입니다. 그리고 Mechanize로 함수를 호출 할 수 없다고 생각합니다. 이 작업이 가능한지 아무도 알지 못합니까?

Answer 1

펄 모듈 WWW::Mechanize이 화면이된다고, 다운로드, 업로드, 양식 제출, 인증, 간단한 브라우징, 같은 웹 브라우징 작업을 자동화의 가장 인기있는 방법 등 등

웹 사이트는 자바 스크립트가 포함되어 경우

, 그들을 다루는 대중적인 Perl 모듈은 WWW::Mechanize::Firefox을 사용합니다.

지금까지 "거의"자바 스크립트와 Ajax 같은 기술 및 SSL 보안을 사용하고, 또는 프록시 서버를 통해 액세스를 포함한 모든 종류의 웹 사이트는 LWP::UserAgent 및 WWW::Mechanize 또는 WWW::Mechanize::Firefox에 속하는 펄 모듈 방식의 조합에 의해 처리 할 수 ​​있습니다. 웹에서 사용 가능한 예제로드.

Answer 2

예를 사용하여 casperjs :

var casper = require('casper').create({ 
    verbose: true, 
    logLevel: 'debug' 
}); 
casper.start(
    'http://example.com', 
    function() { 
     this.evaluate(function() { 
      return $('#someElementId div').length; // This runs as if it was on the page 
     }); 
     this.fill(
      '#formId', 
      { 
       email: 'username@example.com', 
       password: 'password123' 
      }, 
      true 
     ); // This submits login form 
    } 
); 

Casperjs 쿠키를 저장, 깊은 페이지에 대한 요청이 실패하지 않을 수 있도록.

양식 제출에 대한 자세한 내용은 fill()을 참조하십시오.

js를 테스트중인 페이지에서 실행 된 것처럼 실행하려면 evaluate()을 참조하십시오.

AJAX 작업을 테스트하려면 문제 없습니다. 페이지가 브라우저에서 실행중인 것처럼 실행되고 DOM에서 결과를 볼 수 있습니다. evaluate()을 사용하여 수동으로 시작할 수 있습니다.