나는 웹 크롤러를 만들었고 사이트에 내 다운로더 에이전트의 이름을 설정하여 누가 컨텐트를 액세스하고 있는지 그리고 robots.txt 규칙을 따르는 지 알고 싶습니다.HttpURLConnection을 사용하여 Java에서 내 다운로더 에이전트의 이름을 어떻게 설정합니까?
어떻게하면됩니까?
나는 웹 크롤러를 만들었고 사이트에 내 다운로더 에이전트의 이름을 설정하여 누가 컨텐트를 액세스하고 있는지 그리고 robots.txt 규칙을 따르는 지 알고 싶습니다.HttpURLConnection을 사용하여 Java에서 내 다운로더 에이전트의 이름을 어떻게 설정합니까?
어떻게하면됩니까?
요청 헤더를 URLConnection#setRequestProperty()
으로 설정하기 만하면됩니다. HttpURLConnection
에 대한 기본값은 java/xxx
입니다. 여기서 xxx
은 버전 번호입니다.
예.
connection.setRequestProperty("User-Agent", "RenatoBot/1.0");
connection.setRequestProperty("User-Agent", "yourDownloaderName")
http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html#sec14.43
가 addRequestProperty와 헤더 또는 setRequestProperty를
이 문제는http://download.oracle.com/javase/1.4.2/docs/api/java/net/URLConnection.html#addRequestProperty(java.lang.String, java.lang.String의)
음이다 는 A 사용자 에이전트의 값을 설정 참조 완전히 명확하지는 않지만 기본적으로'User-Agent' 요청 헤더를 설정하는 방법을 묻고 있습니까? – BalusC
흠, 네. 나는 그것에 이름을주고 싶다. 그리고 그 사이트는 파이어 폭스, 크롬 또는 브라우저를 사용하지 않고, 로봇, 나의 로봇이 아니라는 것을 알고있다. 몇 가지 표준을 사용할 수 있습니까? –