Python "requests"라이브러리로 HTTP 응답 스트리밍 읽기

Question

requests 모듈을 사용하여 Kubernetes api에서 제공되는 이벤트 스트림을 사용하려고합니다. 나는 버퍼링 문제처럼 보였습니다 : requests 모듈은 하나의 이벤트에 의해 지연되는 것처럼 보입니다.

나는 이런 식으로 뭔가 보이는 코드를 가지고는 Kubernetes 이벤트 알림을 방출로

이

r = requests.get('http://localhost:8080/api/v1beta1/watch/services', 
       stream=True) 

for line in r.iter_lines(): 
    print 'LINE:', line 

,이 코드 만 표시됩니다 이 거의 쓸모가 만드는 새로운 이벤트가 들어올 때 방출되는 마지막 이벤트, 이벤트 추가/삭제에 응답해야하는 코드의 경우

p = subprocess.Popen(['curl', '-sfN', 
         'http://localhost:8080/api/watch/services'], 
        stdout=subprocess.PIPE, 
        bufsize=1) 

for line in iter(p.stdout.readline, b''): 
    print 'LINE:', line 

이 작동하지만, 유연성의 비용 :

나는 서브 프로세스에 curl을 산란 대신 requests 라이브러리를 사용하여이 문제를 해결했다. requests 라이브러리의 버퍼링 문제를 피할 수있는 방법이 있습니까?

Answer 1

이 문제는 requests 라이브러리의 iter_lines 메서드가 버그로 인해 구현 되었기 때문에 발생합니다.

iter_lines은 iter_content 반복기를 사용하여 chunk_size 블록 블록의 응답 내용을 반복합니다. chunk_size 미만의 데이터가 서버 (일반적으로 출력의 마지막 행을 읽을 때 해당)에서 읽을 수있는 경우 바이트의 데이터를 사용할 수있을 때까지 읽기 작업이 차단됩니다. os.read 오히려 채우기 위해 버퍼를 기다리는 것보다보다 chunk_size 바이트의 데이터를 를 반환하기 때문에이 작동

import os 


def iter_lines(fd, chunk_size=1024): 
    '''Iterates over the content of a file-like object line-by-line.''' 

    pending = None 

    while True: 
     chunk = os.read(fd.fileno(), chunk_size) 
     if not chunk: 
      break 

     if pending is not None: 
      chunk = pending + chunk 
      pending = None 

     lines = chunk.splitlines() 

     if lines and lines[-1]: 
      pending = lines.pop() 

     for line in lines: 
      yield line 

    if pending: 
     yield(pending) 

:

나는 올바르게 작동 내 자신의 iter_lines 루틴을 작성했습니다.