단일 노드 Hadoop 클러스터에서 MapReduce 작업을 실행하고 있지만 {HADOOP_TMP_DIR}/nm-local-dir/usercache에있는 _ _ _ spill _ * .out 파일로 디스크 드라이브를 완전히 채우고 있습니다./hduser/appcache directoryHadoop MapReduce appcache 디렉토리
내 질문은 :이 폴더에 저장되는 내용과 그 크기를 제한하려면 어떻게해야합니까?
감사합니다.
mapreduce 실행 중에 메모리에 맞지 않는 중간 데이터가 디스크로 유출됩니다.
그러나 이러한 중간 데이터는 mapreduce 실행 마지막 단계에서 정리 작업의 일부로 자동 삭제됩니다. 하나의 파티션을 지정하는 대신 더 많은 파티션을 지정할 수있는 대신 크기를 제한 할 수 없습니다. mapreduce.map.sort.spill.percent은 유출률을 최소화하기 위해 in90으로 증가시킬 수 있지만 단일 노드에서는 메모리 문제가 발생합니다.
VMware 또는 다른 도구를 사용하여 Linux에서 Hadoop을 구성한 경우. 친절하게 도구 설정에서 RAM을 늘리고 sachinjose에서 제공하는 단계를 시도하십시오. 이것은 UR 문제를 일으킬 수 있습니다.