0
배포 모드에서 Nutch를 실행하는 것은 Hadoop을 기반으로하는 분산 크롤링이지만 로컬 모드에서 실행할 때 무엇을하는지 완전히 이해할 수 없다는 것을 알고 있습니다. 이 경우 Nutch는 Hadoop과 독립적입니까? MapReduce를 기반으로하지 않는 로컬 모드의 크롤링 프로세스가 있습니까?Nutch는 Hadoop과 무관 한 로컬 모드입니까?
A
답변
2
Nutch는 실행 방법에 관계없이 MapReduce를 기반으로합니다. Hadoop 라이브러리는 로컬 모드에서 Nutch의 종속성이며, Nutch는 클래스 경로에 Hadoop 관련 라이브러리를 넣고이를 단일 JVM에서 모두 실행합니다. 분산 모드에서는 'hadoop'명령이 호출됩니다.
는 Nutch script
PS를 참조하십시오 : 단일 컴퓨터에서 Nutch를 사용하는 경우, 당신이 맵리 듀스 UI 크롤링 + 병렬 처리 등을 모니터링 할 수 있도록 의사 분산 모드에서 실행하는 것이 합리적이다 ...
관련 문제
- 1. TFS에 무관 한 MSBuild 스크립트
- 2. Nutch는 무엇에 관한 것입니까?
- 3. PHP - 실행중인 시스템과 무관 한 시간 받기
- 4. 프레임 속도와 무관 한 시간 기반 시뮬레이션
- 5. 자바에서 시스템의 시간과 무관 한 시계
- 6. 시간대와 무관 한 시간을 얻는 방법
- 7. iPhone의 줌과 무관 한 웹 사이트의 부분
- 8. Delphi - 지역 설정과 무관 한 애플리케이션
- 9. 시간 사전 설정과 무관 한 cron 표현
- 10. 탭 첫 번째 화면과는 무관 한 탭
- 11. "유형에 무관 한"SchemaNode를 생성하는 방법
- 12. 무관 한 프로세스를 가진 파이썬 다중 프로세싱
- 13. 데이터베이스 스키마와 무관 한 응용 프로그램
- 14. 여러 무관 한 프로세스 동기화 UART
- 15. 무관 한 두 테이블의 쿼리 업데이트
- 16. hadoop과 elasticsearch 통합
- 17. matlab를 hadoop과 통합하는 방법
- 18. Hadoop과 HDF5 통합
- 19. PHP : Mcrypt - 어떤 모드입니까?
- 20. ContentManager가 콘솔 모드입니까?
- 21. PHP의 엄격 모드입니까?
- 22. MPMoviePlayerController가 전체 화면 모드입니까?
- 23. Apache Hadoop과 Eclipse 통합
- 24. hadoop과 pentaho 커뮤니티 통합
- 25. Hadoop과 NoSQL의 관계는 무엇입니까?
- 26. Cassandra를 Hadoop과 통합하는 방법
- 27. Hadoop과 돼지 관계 설정
- 28. hadoop과 informica는 관련이 있습니까?
- 29. NORMAL 모드에서 'r'을 입력 한 후 어떤 모드입니까?
- 30. 수면주기 - 어떤 종류의 배경 모드입니까?
확인 . 따라서 로컬 모드에서 Nutch는 Hadoop의 MapReduce 메커니즘 만 사용합니다. 내가 맞습니까? –
'기타'-> HDFS? 기본적으로 사용되지 않습니다. Nutch 1.x BTW에 대해 이야기하고 있습니까? –
예 1.12와 함께 작업하고 있습니다. HDFS를 독립형 모드로 사용하는 방법은 무엇입니까? –