AWS에서 스파크 HDFS 크기를 사용 하시겠습니까?

나는 --ebs-vol-size=1000으로 spark-ec2 스크립트를 실행 (그리고 1,000기가바이트 볼륨이 부착되어 있습니다)하지만 난 hadoop dfsadmin -report를 실행하는 경우에만 표시 : 노드 당AWS에서 스파크 HDFS 크기를 사용 하시겠습니까?

Configured Capacity: 396251299840 (369.04 GB)

. 공간을 늘리거나 HDFS에 전체 용량을 사용하도록 알리는 방법은 무엇입니까?

출처

2015-01-31 Joe

도움이된다면 http://stackoverflow.com/questions/33598301/spark-ec2-ebs-vol-size-not-working/34076229#34076229에서 약간 정교한 답변을 제공해 드리겠습니다. – Jarvie

lsblk를 실행하고 볼륨이 마운트 된 위치를 확인하십시오. 아마도 vol0 일 것입니다. hdfs-site.xml에서 쉼표 다음에 dfs.data.dir 값에/vol0을 기존 기본값으로 추가하십시오. 이것을 모든 슬레이브에 복사하고 클러스터를 다시 시작하십시오. 이제 전체 용량을 확인하십시오

출처

2015-11-06 23:53:03

AWS에서 스파크 HDFS 크기를 사용 하시겠습니까?

답변

관련 문제