Hadoop 스트리밍 최대 라인 길이

Question

저는 Amazon Elastic Map Reduce의 Hadoop 스트리밍 워크 플로우에서 작업 중이며 일부 바이너리 오브젝트를 직렬화하고이를 Hadoop으로 스트리밍하는 작업을 포함합니다. Hadoop은 스트리밍 입력을위한 최대 라인 길이가 있습니까?

나는 더 크고 더 큰 선으로 시험하기 시작했지만, 나는 여기서 먼저 물어볼 것이라고 생각했다.

Answer 1

선 길이에는 제한이없는 것으로 보입니다. 질문을 던지면서 저는 바이너리 객체를 직렬화하는 코드를 작성했습니다.이를 base64로 인코딩 한 다음 처리를 위해 스트림에 넣습니다. 결과적으로 일부 줄이 상당히 길어집니다. 하둡은 아무런 불만없이 바로 씹었습니다.