프록시를 통해 웹 사이트에 로그인

정기적 인 간격으로 원격 서버를 통해 웹 사이트에 로그인하는 시스템을 개발해야합니다 ("프록시"가 용어라고 생각합니다). 그리고 해당 웹 사이트에서 데이터를 수집해야합니다.프록시를 통해 웹 사이트에 로그인

서버의 측면에서 소프트웨어와 같은 시스템의 기본 요구 사항은 무엇입니까? 일반적인 공유 호스팅 계획 이상의 것이 필요합니까?

저는 PHP를 기반으로하는 소프트웨어 솔루션을 찾고 있습니다.

편집 : 수집 된 데이터는 통계 목적으로 만 사용되며 불법은 아닙니다.

출처

2011-02-15 Emanuil Rusev

먼저 원격 사이트의 허가가 필요합니다. –

@Dagon, 크롤링 될 사이트 또는 원격 서버를 의미합니까? –

"웹 사이트에 로그인"이란 사용자 이름과 비밀번호로 로그인하는 것을 의미합니까? 레이아웃을 확인하기 위해 모든/모든 페이지를 요청할 수 있습니까? –

PHP 컬 기능을 사용하여 페이지를 요청할 수 있습니다.
그리고 컬 그렇게 같은 프록시 설정할 수 있습니다 :

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_PROXY, "http://proxyaddress"); 
curl_setopt($ch, CURLOPT_PROXYPORT, 8080); 
curl_setopt($ch, CURLOPT_PROXYUSERPWD, "xxx:xxx");

을 그리고 나는 downvotes에 대한 이유는 당신이 디자인을 훔치려 고하는 것처럼 보인다 추측,하지만 난 당신이 완전히 합법적 인 이유가있는 것 같아요 당신이하고 싶은 일을하기 때문에!

출처

2011-02-15 08:46:29 gnur

고마워요! 그것은 합법적 인 것입니다. 누군가가 자신의 컴퓨터에서 로그인 할 수있는 디자인을 훔치려는 경우 - 프록시 나 크롤러가 필요하지 않습니다. –

당신이하려는 것은 웹 크롤러를 만드는 것입니다. 이것이 검색 엔진이 검색하는 웹 페이지의 색인을 생성하는 방법입니다. 이 크롤링은 거미 또는 로봇이라는 스크립트로 수행됩니다. Perl을 사용하여 쉽게 만들 수 있습니다. 간단한 자습서를 보려면 http://www.linuxjournal.com/article/2200을 확인하십시오.

출처

2011-02-15 07:54:57 Harish

원격 서버를 통해 어떻게해야합니까? 그것은 나를위한 까다로운 부분이다. –

왜 질문과이 대답에 대한 downvotes? 제발, 누군가 설명해! –

@Emanuil 검색 엔진은 프록시 뒤에 숨어 있지 않습니다. 그들은 숨길 것이 아무것도 없기 때문입니다. 사이트 소유자 권한이있는 경우 프록시를 사용할 이유가 없습니다. 그래서, 나는 당신이하지 않았다고 가정합니다. 나는 너를 막을 수는 없지만 그것은 역겨운 것이고 모두 너를 더 악화시키는 것을 돕는다. 부끄러운 줄 알아. –

프록시를 통해 웹 사이트에 로그인

답변

관련 문제