0
cloudera를 사용하여 하나의 시스템 (물론 많은 VM이있는)에서 Hadoop 작업을 시뮬레이트하고 싶습니다. 2 질문이 있습니다 1) cloudera에서 HDFS의 복제 정책을 변경할 수 있습니까? 2) 각 VM의 CPU 사용량을 볼 수 있습니까?Cloudera를 사용하여 맵 축소 시뮬레이션
A
답변
0
"ReplicationTargetChooser.java"를 변경하여 데이터 복제 정책을 변경할 수 있다는 것을 알았습니다.
1
hadoop fs -setrep을 사용하여 모든 파일의 복제 요소를 변경할 수 있습니다. 또한 다음을 추가하여 hdfs-site.xml을 수정하여 기본 복제 요소를 변경할 수 있습니다 <property> <name>dfs.replication</name> <value>2</value> </property>
당신은 각 상자에 로그인하여 각 VM의 CPU 사용량을 볼 수 top을 사용해야합니다. Hadoop에는이 기능을 볼 수있는 상자가 없습니다.
관련 문제
- 1. 시뮬레이션 맵 축소 환경
- 2. hadoop cloudera를 사용하는 데모가 필요합니다.
- 3. Mongo NodeJS 맵 축소
- 4. 쿼리와 함께 MongoDB 맵 축소
- 5. 맵 축소 값리스트 순서 문제
- 6. Sqoop은 인증하지만 맵 축소 작업을 시작하지 못합니다.
- 7. EMR 맵/축소 작업에서 직접 S3에 액세스
- 8. 대용량 맵/축소 응용 프로그램에서 카운터 관리
- 9. 스레딩과 맵 축소 처리의 차이점은 무엇입니까?
- 10. hadoop에서 여러 맵 축소 작업을 동기화하십시오.
- 11. 실행중인 MongoDB 맵 축소 작업 상태 확인
- 12. MongoDB의 맵 축소 속도를 높이려면 어떻게해야합니까?
- 13. WPF에서 확대/축소 애니메이션이있는 비트 맵
- 14. 최상의 품질로 WPF에서 비트 맵 축소
- 15. 다중 맵/축소 인덱스 대 관계형 합
- 16. 루트 액세스없이 hadoop cloudera를 사용할 수 있습니까?
- 17. 트리 노드의 jquery를 사용하여 축소 축소
- 18. 축소 단계가 작동하는 동안 맵 단계를 시작하는 방법
- 19. 로드 밸런서의 기능을 맵 축소 시스템으로 수행 할 수 있습니까?
- 20. android에서 비트 맵 확대/축소 후 getpixel() 사용 방법
- 21. ontouch를 사용하여 확대/축소
- 22. 몬테카를로 시뮬레이션 결과 시뮬레이션
- 23. SendInput 함수를 사용하여 입력 시뮬레이션
- 24. Raven DB :이 멀티 맵/축소 인덱스의 문제점은 무엇입니까?
- 25. 분산 맵 축소 프로그래밍 시스템을 사용하는 가장 쉬운 방법은 무엇입니까?
- 26. 아이디어가 HDFS를 균형 잡기 위해 -> HBase 맵 축소 작업
- 27. 맵 축소 모델을 적용 할 수없는 기계 학습 알고리즘
- 28. 안드로이드 : 품질 손실 규모 축소 할 때 비트 맵
- 29. 지도 테라 바이트 단위의 데이터로 알고리즘 맵 축소?
- 30. Raven DB :이 다중 맵/축소 인덱스의 문제점은 무엇입니까?
감사합니다. 그러나 데이터 배치 정책을 변경하려는 요소를 변경하고 싶지는 않습니다. 각 복제본은 어느 노드에 상주한다고 말하고 싶습니다. 이 https://issues.apache.org/jira/browse/HDFS-385처럼. – Sara
이전에 요청한 적이 있습니다. 불가능합니다. 아마도 당신은 당신이 실제로하려고하는 것에 대해 물어봐야 할 것입니다. 그래서 우리는 올바른 방법을 제안 할 수 있습니다. –
그러나 위의 링크에서 해결 된 것 같습니다! 데이터 복제 위치를 변경하여 에너지 사용량이 어떻게 변하는 지 확인하고 싶습니다. – Sara