Twisted로 비동기 API 요청을하는 클래스

Question

나머지 서버에서 데이터를 수집하고 조작하는 시스템 개발에 착수했습니다.

하나 이상의 요구 사항은 여러 번의 자주 발생하는 API 요청입니다. 현재이 방법은 다소 동기식으로 구현됩니다. 나는 스레드를 사용하여 이것을 쉽게 구현할 수 있지만, 시스템이 초당 수천 개의 요청을 지원할 필요가 있다고 생각하면 위의 구현을 효율적으로 수행 할 수있는 Twisted의 능력을 이용하는 것이 현명 할 것이라고 생각합니다. 나는 this blog post을 보았고, 연기 된리스트의 전체 아이디어는 그 트릭을하는 것처럼 보인다. 그러나 나는 수업을 구조화하는 방법에 매달렸다. (Twisted가 어떻게 작동하는지 생각할 수 없다.)

이벤트 루프를 실행할 클래스의 구조를 대략적으로 설명하고 URL 및 헤더 목록을 가져 와서 요청을 비동기 적으로 생성 한 후 결과 목록을 반환 할 수 있습니까?

파이썬으로 이것을 구현하는 더 좋은 방법을 알고 있습니까?

Answer 1

treq이라는 Twisted 프로젝트를 사용하여 HTTP 끝점에 요청을 보낼 수있는 것처럼 들립니다. requests과 같이 작동합니다. 나는 최근에 친구 here in this thread을 도왔습니다. 내 대답은 너에게 쓸모가 있을지도 모른다. 그래도 도움이 더 필요하면 의견을 말하면이 답변을 업데이트하기 위해 최선을 다할 것입니다.