0
온라인 소스에서 JSON 형식으로 데이터를 추출하여 Apache Flume을 통해 Hdfs에 저장하고 있습니다. 이제 Hadoop처럼 다중 파일을 만듭니다. 이제이 모든 데이터에서이 데이터를 검색하여 관련 정보를 얻고 싶습니다. 해결 방안은 무엇인가?hadoop에서 검색 hdfs 데이터
A
답변
0
MapReduce 또는 Spark를 사용하여 hdfs에서 검색 할 수있는 자체 스크립트를 개발할 수 있습니다. 당신은 또 다른 해결책이 있습니다, 당신은 하이브와 돼지를 사용할 수 있습니다. Pigg 가이드 : http://archive.cloudera.com/cdh/3/pig/tutorial.html 하이브 가이드 : https://cwiki.apache.org/confluence/display/Hive/LanguageManual
관련 문제
- 1. Hadoop에서 HDFS 용 데이터 노드의 이름 노드 업데이트 가용성은 어떻게됩니까?
- 2. Hadoop에서 HDFS 이외의 파일 시스템에 데이터 지역이 어떻게 활용됩니까?
- 3. hadoop에서 데이터 노드 시운전
- 4. hadoop에서 xml 데이터 시각화
- 5. hadoop에서 opennlp를 사용하여 문장 검색
- 6. hadoop에서 solrcloud는 무엇을 의미합니까?
- 7. HDFS 데이터 통계
- 8. HDFS 복제 - 데이터 저장
- 9. Hadoop에서 파일 이름 바꾸기
- 10. hadoop에서 소스 데이터 파일 백업
- 11. HDFS 용량 불일치
- 12. hadoop에서
- 13. 감속기가 hadoop에서 실행되지 않음
- 14. HDFS 복제 및 데이터 배포
- 15. Hadoop에서 CombineFileInputFormat 사용
- 16. Hadoop에서 로그 파일을 시각화하는 방법은 무엇입니까?
- 17. HDFS 데이터 크기와 하이브 데이터 크기의 차이
- 18. hadoop에서 datanode 포트를 지정하는 방법
- 19. HBase + HDFS - hdfs 블록이 누락되었습니다.
- 20. Hadoop에서 spring xd로 데이터로드
- 21. hadoop에서 디스크 또는 데이터 노드 오류 및 복구 절차는 무엇입니까?
- 22. hadoop에서 오류가 발생했습니다
- 23. HDFS 오류 : 대상이 이미 있습니다.
- 24. hadoop에서 HDFS에 연결할 때의 EOFException
- 25. hadoop에서 생성 된 매퍼의 수
- 26. 모든 데이터 노드가 hadoop에서 실패하면 어떻게됩니까?
- 27. Hadoop에서 데이터 청크의 크기를 변경하는 방법은 무엇입니까?
- 28. Hadoop에서 복합 XML을 처리하여 데이터 추출
- 29. Hadoop에서 샘플링 및 데이터 마이닝 알고리즘 구현
- 30. hadoop에서 테이블 형 데이터 구조를 저장하고 액세스