0
Linux 컴퓨터에서 인증이 필요한 페이지, 쉘 스크립트 또는 비슷한 (예 : Perl, Python 등)을 사용하여 웹 페이지 소스 코드를 다운로드하고 싶습니다.인증이 필요한 페이지에서 웹 페이지 소스를 다운로드하십시오.
wget과 curl을 사용하려고했지만 URL을 전달할 때 다운로드되는 소스 코드는 자격 증명을 요청하는 페이지 용입니다. 동일한 페이지가 Firefox 또는 Chrome에서 이미 열려 있지만이 세션을 어떻게 다시 사용할 수 있는지 알 수 없습니다.
기본적으로이 페이지에서 정기적으로 새로 고침을 실행하고 소스 코드 내의 일부 정보를 grep로 실행해야합니다. 내가 원하는 것을 발견하면 다른 스크립트를 실행합니다. - 나에게 TXT 파일에 쿠키를 저장할 수 있도록 파이어 폭스 애드온을 다운로드
1 :
- - 편집
TKS @Alexufo .I는 작동이 길을 수 있었다. 나는이 addon을 사용했다 : https://addons.mozilla.org/en-US/firefox/addon/export-cookies/
2 - 내가 원하는 사이트에 로그인하고 쿠키를 저장했다.
3
- 사용 wget을 :wget --load-cookies=cookie.txt 'http://my.url.com' -O output_file.txt
4 - 이제 페이지 소스 코드는 output_file.txt 안에 그리고 내가 원하는 방식으로 구문 분석 할 수 있습니다.