어떻게지도를 사용하여 입력 로그를 사용할 수 있습니까? .RAPHOME Hadoop

Question

로그 Tcpdumps는 이진 파일이므로, hadoop의 FileInputFormat이 입력 데이터를 분할하여 사용해야하는지 알고 싶습니다 ... 도와주세요!

Answer 1

이에 대한 사용자 목록 스레드가 있었다 : 파일의 오프셋 (offset) 임의의 시작 기록의 시작을 찾을 수 http://hadoop.markmail.org/search/list:org%2Eapache%2Ehadoop%2Ecore-user+pcap+order:date-forward

는 기본적으로, 형식이 분열성되지는. 따라서 사전 처리, 싱크 포인트 삽입 또는 유사한 작업을 수행해야합니다. 작은 파일을 시퀀스 파일로 변환 한 다음 작은 시퀀스 파일을 병합 할 수 있습니까?

재사용 가능한 것을 작성하는 경우 프로젝트에 다시 기고 해보십시오.

Answer 2

PCAP 파일을 읽고, 키 (파일의 n 번째 패킷) 및 PCAP 데이터를 포함하는 값으로 PacketWritable에 대해 LongWritable과 같은 것을 반환하는 InputFormat을 작성하십시오. InputSplit의 경우 성능을 높이기 위해 FileSplit 또는 MultiFileSplit을 사용할 수 있습니다. 개별 PCAP 파일을 놀라운 속도로 읽을 수 있습니다. 당신의 블록 크기가 PCAP 파일의 크기보다 큰 경우를 제외하고

, 최근 파일

Answer 3

우리는 PCAP 형식 라이브러리를 발표했습니다 ... 네트워크 IO를 많이 경험하게 될 것입니다 : https://github.com/RIPE-NCC/hadoop-pcap