2014-05-18 6 views
0

HDFS에 저장해야하는 라이브 스트리밍 트윗이 있습니다. 현재 라이브 트윗에 액세스하여 트윗에서 정보를 추출 할 수 있습니다. 내 요구 사항은 모든 트윗을 HDFS의 단일 시퀀스 파일에 추가해야한다는 것입니다. 그러나 나는이 문제를 두 가지 방법으로 해결할 생각이었다. 나는 하나의 트윗을 HDFS의 작은 파일에 저장할 수 있으며 주기적으로 그것들을 하나의 시퀀스 파일에 묶을 수있다. 내가 생각한 두 번째 접근법은 런타임에 시퀀스 파일을 읽은 다음 새로운 내용을 시퀀스 파일에 저장합니다.HDFS에서 시퀀스 파일 추가

어떤 접근 방식을 선택해야할지 알려주세요. 이러한 유형의 유스 케이스를 처리하기위한 더 나은 솔루션이 있다면 나에게 제안 해주십시오.

답변