어떻게 컬 연결 Gnip 스트리밍을 설정 하시겠습니까?

Question

Gnip Streaming 용 Curl 연결을 설정하려고합니다. 내 목표는 들어오는 모든 데이터를 텍스트로 다운로드 한 다음 데이터베이스에 업로드하는 것입니다. 그러나 시간이 지나면 말풍선이 떨어지고 있습니다. 스트리밍 데이터를위한 프로세스를 설정하는 방법이 있습니까?

curl --compressed -v -u <login>:<password> "https://gnip-stream.twitter.com/stream/sample10/accounts/UpSwell/publishers/twitter/prod.json?partition=1" --connect-time 900 -o output.txt  

가끔 "클로징 연결"이 발생합니다.

Answer 1

curl 명령이 정상적으로 보이지만 스트림의 볼륨을 따라 잡지 못하는 것 같습니다. 이로 인해 서버 측의 데이터 버퍼가 완전히 채워져 서버에서 '강제 연결 해제'가 트리거됩니다.

기본적으로 해당 데이터 볼륨을 스트리밍 할 대역폭이 있는지 확인하는 것이 좋습니다. 이러한 강제 연결 해제는 종종 클라이언트 응용 프로그램의 병목 현상을 처리하여 발생합니다. 그러나 매우 효율적인 컬 (curl)을 사용하고 있습니다 ... 컬은 일반적으로 클라이언트 측 응용 프로그램을 루프에서 제거하고 기본 대역폭을 테스트하는 것이 좋습니다 ...

decahose 제품 ... 계정 관리자에게 연락하여 다음 단계를 논의하십시오.

감사합니다.