2013-10-25 2 views
0

HOWOP을 사용하여 출력을 생성 할 수 있습니까? 로그로 구성되어 있고 약속 ID가있는 큰 파일이 있습니다. 전통적인 RDBMS를 사용할 경우 약속 ID를 얻을 수 있지만 1 ~ 2 시간이 걸립니다.Hadoop onflow를 실행할 수 있습니까 (응용 프로그램이 실행 중일 때 실행 맵 축소)

로그 파일 크기는 흐름에 8백기가바이트

이 약속 ID 시스템에 관리자 로그를 보여 의미입니다. Hadoop을 실행할 수 있습니까 (응용 프로그램이 실행 중일 때 실행 맵 축소)

답변

1

Hadoop은 데이터를 일괄 적으로 처리하는 데 사용되며 실시간 또는 임시 분석에는 사용되지 않습니다. 데이터의 실시간 분석에는 S4, Twitter Storm, LinkedIn Samza 등의 프레임 워크가 있습니다. 임시 쿼리의 경우 Drill, Imapala 및 기타와 같은 프레임 워크가 있습니다.

요구 사항이 임시 쿼리보다 가깝고, 그대로있는 Hadoop이 요구 사항을 충족하지 않는 것처럼 보입니다.

+0

이것은 내가 흐름에 hadoop을 사용할 수 없다는 것을 의미합니다. 클라이언트가 큰 파일을 이름 노드에 전달하는 것처럼 클라이언트가 더 처리하고 출력을 올바르게 수행합니다. – user2826111

+0

일괄 처리라고합니다. 파일이 NN으로 전송되지는 않습니다. 자세한 내용은 hadoop 구조를 참조하십시오. –

관련 문제