ID와 클래스의 jsoup 선택기가 왜 저에게 적합하지 않습니까?

Question

나는 야후에서 모든 질문 'URL을 가져 오려고 시도 할 수 있습니다 this page을 구문 분석하려고합니다.

jsoup를 사용하지만 이러한 선택자는 아무 것도 선택하지 않습니다. 이유는 무엇입니까?

doc.select("#yan-questions h3 a") 
doc.select(".question-title a") 

Answer 1

지금 이유를 찾습니다. 이 사이트는 다른 사용자 에이전트에 따라 다른 웹 페이지를 보낼 수 있으며, User-Agent HTTP 헤더를 포함하지 않으면 응답에 id이 없습니다.

내가 HTTP 요청이 줄을 추가 할 때이 문제가 해결 :

User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 

을