하이브 테이블에 삽입

Question

나는 hadoop의 초보자입니다. 제발 도와주세요.

업데이트를 계속하는 로그 파일이 있습니다.이 로그 파일을 하이브에있는 테이블에 저장해야합니다. 로그 파일에 생성 된 새로운 행을 원하는 시간에이 테이블에 추가 할 수 있습니까? 일정한 간격?

Answer 1

하이브 지원 삽입 문이므로 가능해야합니다. 동시에 하이브로 작업하는이 방법을 권장하지 않습니다. 나는 로그의 심각한 흐름에 대해 이야기한다고 가정 할 것입니다. 그렇지 않으면 하이브를 사용하지 않을 것입니다.
Hive는 Hive의 외부 테이블로 정의 된 일부 HDFS 디렉토리에 추가 파일을 복사 할 때 데이터로드 속도가 우수합니다.
로그를 사용하여 (또는 다른 기술을 사용하여) 각 X 분 또는 Y 메가 바이트 HDFS로 복사하면됩니다.

Answer 2

하이브가 실제로 지원하지는 않습니다. Flume을 사용하여 HDFS에 로그 파일을 저장 한 다음 Hive 테이블에서 해당 위치를 가리키고 해당 SerDe를 사용하여 액세스 할 것을 권장합니다.

어느 쪽이든, 또는 로그 파일을 회전시키고 기록이 완료되면 하이브에만 저장하십시오.