사용자가 HttpComponents로 보는 것처럼 웹 사이트 읽기

Question

내 브라우저로 탐색한다면 사이트의 html을 가져오고 싶습니다.

내가 크롬을 사용할 때와 다르게 사이트의 html을 얻으려고 할 때 아파치의 HttpComponents와 같은 합법적 인 요청을 할 수 있는지 궁금합니다.

User-Agent 설정을 시도했지만 작동하지 않습니다. 그 밖의 다른 조치는 어떻게해야합니까?

고맙습니다.

Answer 1

웹 페이지가 모두 정적 HTML 인 경우이 작업을 수행 할 수 있습니다. 요즘에는 다양한 소스 (HTML, XML, JSON 등)의 클라이언트에서 자바 스크립트를 사용하여 동적으로 웹 페이지를 구성하므로 사용자가 볼 수있는 유일한 표현은 브라우저의 DOM입니다. 완전한 브라우저 실행 환경을 에뮬레이션하려는 경우 (또는 브라우저에 연결할 수있는 경우가 아니면) 불가능합니다.