클라이언트 (jmeter)가 1000 개가 넘는 병렬 HTTP 요청을 처리 할 때 ETIMEDOUT이 발생합니다.

Question

HTTP 연결을 만들기 위해 eventlet Green 스레드 (1000 개의 녹색 스레드 풀)를 사용하는 Python 응용 프로그램이 있습니다. 클라이언트가 1000 개 이상의 병렬 요청을 해독 할 때마다 ETIMEDOUT이 발생합니다. 누군가 가능한 원인으로 나를 도울 수 있습니까?

Answer 1

이 경우 가장 일반적인 이유는 DNS 서버 요청 스로틀입니다. DNS 확인을 제거하여 쉽게 확인할 수 있습니다 (http://{ip-address}/path 요청, 적절한 Host: 헤더 추가를 잊지 마세요). 이 단계를 크롤링 웹을한다면 당신은 절대적으로해야합니다, 선택되지 않습니다 집합 (즉, 평균)의 실행 시간을 기준으로 (인간 행동없이) 자동으로

• 제어 동시성. 이는 모든 레벨에서 독립적으로 적용됩니다. DNS 응답 속도가 느려지면 동시 DNS 요청을 되돌립니다. 응답 속도 (본문 크기/시간)가 느려지면 TCP 동시성을 복원하십시오. CPU가 과부하 일 경우 전반적인 요청 동시 처리를 중단하십시오. 처리 할 수있는 것 이상의 요청을하지 마십시오.
• 재시도 대기 시간이 증가 할 때마다 일시적인 오류가 발생하면 다시 시도하십시오 (backoff algorithm 검색). 오류가 일시적인지 결정하는 방법? 주로 연구, 시행 착오.
• 실행 로컬 DNS 서버, 찾고 구성하는 여러 업스트림

당신은 가능성이 얼굴이 열려있는 연결 및 파일 기술자의 수의 OS 제한 인 것이다 높은 동시성을 가진 다음으로 인기있는 문제. 수정하려면 sysctl somaxconn 및 ulimit nofile을 수정하십시오.