400 개의 HTTP 오류 다중 스레드 프로그램에서 Jsoup 사용

Question

html 페이지를 구문 분석하는 프로그램을 만들었습니다. ThreadPool 내에서 호출 가능한 클래스 내에서 jsoup connect 함수를 사용합니다. 문제는 내가 동일한 웹 사이트에 연결하고 스레드 풀 크기가 5+ 이상인 경우 IO 예외 - 400 오류가 발생한다는 것입니다.

어떻게 그렇게하지 않습니까?

Answer 1

HTTP 응답이 400 개이면 응답 내용에 오류 메시지가 있는지 확인하십시오. 400은 어떤 종류의 나쁜 요청을 의미합니다. 필요한 모든 정보를 포함하거나 기형의 정보를 포함하지 않았습니다. 어떤 사람들은 고객이 싫어하는 일을했을 때 그것을 잡기 위해 사용합니다. 서로 다른 요청을 많이하는 경우 400 명이 잘못한 것이 있는지 확인하기 위해 원인을 조사하십시오. 모두가 제대로 보이거나 반복적으로 동일한 요청을 보내는 경우 특정 사이트에서 너무 많은 동시 요청이나 너무 많은 요청을하지 못하게하는 일종의 속도 제한이 발생할 수 있습니다. 그런 경우라면, 응답 메시지에 무슨 일이 일어 났는지 알려주는 메시지가 있어야합니다.