hdfs

6열

4답변

Hadoop dfs -ls는 내 hadoop/dir에있는 파일 목록을 반환합니다.

Win7에서 cygwin을 통해 실행중인 sigle-node Hadoop 구성을 설정했습니다. bin/start-all.sh에 의해 Hadoop을 시작한 후, 내 hadoop 디렉토리에있는 파일 목록을 반환하는 bin/hadoop dfs -ls을 실행합니다. 그런 다음 bin/hadoop datanode -format bin/hadoop namenode -

3열

1답변

Ruby를 사용하여 Hadoop HDFS에서 파일을 쓰고 읽는 방법은 무엇입니까?

Ruby를 사용하여 HDFS API를 사용할 수 있습니까? 내가 이해할 수 있듯이 다국어 파일 인 Api가없고 유일한 방법은 기본 Java API를 사용하는 것입니다. 나는 JRuby를 사용하려했지만이 솔루션은 불안정하고별로 기본이 아닙니다. 또한 HDFS Thrift Api를 살펴 봤지만 완벽하지는 않으며 인덱싱 된 파일 작성과 같은 많은 기능이 부족합니

2열

2답변

Hadoop에서 로컬 컴퓨터에서 amazon s3으로 파일 업로드

사용자의 로컬 컴퓨터에서 S3 버킷으로 일부 그림을 업로드 서비스를 제공 할 수 있어야하는 Java MapReduce 앱에서 작업하고 있습니다. 앱은 EC2 클러스터에서 실행되어야하므로 파일을 복사 할 때 로컬 컴퓨터를 어떻게 참조 할 수 있는지 잘 모르겠습니다. copyFromLocalFile (..) 메서드는 EC2 클러스터가 될 로컬 컴퓨터의 경로가

24열

3답변

hadoop.tmp.dir은 무엇이되어야합니까?

Hadoop은 설정 매개 변수 hadoop.tmp.dir을 가지고 있습니다. 설명서마다 ''다른 임시 디렉토리의 기본입니다. "이 경로는 로컬 파일 시스템을 참조합니다. 이 값을 /mnt/hadoop-tmp/hadoop-${user.name}으로 설정했습니다. namenode를 포맷하고 모든 서비스를 시작한 후에는 HDFS에서 생성 된 경로와 정확히 일치합

27열

4답변

HDFS는 기본적으로 파일을 로컬에 저장합니다.

노드가 하나 인 클러스터에서 기본 구성으로 hadoop을 실행 중이며 HDFS가 파일을 로컬에 저장하는 위치를 찾고 싶습니다. 아이디어가 있으십니까? 감사합니다.

2열

2답변

Hbase와 Hive를 통합 할 때의 이점은 무엇입니까

최근에 저자가 Hbase와 Hive를 통합하는 것에 관해 언급 한 블로그를 보았습니다. 이것이 가능한지, 그렇다면 성능과 확장 성 측면에서 둘 다 사용할 때의 장점은 무엇입니까? 내가 잘못하면 친절하게 정정하십시오.

1열

1답변

Hadoop 안전 모드 복구 - 시간이 많이 걸림

Amazon EC2에서 클러스터를 실행하고 있습니다. 우리는 cloudera 스크립트를 사용하여 hadoop을 설정합니다. 마스터 노드에서 우리는 서비스를 시작합니다. 609 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start namenode' 610 $AS_HADOOP '"$HADOOP_HOME"/bin/ha

0열

2답변

Hadoop 0.20에서 Avro를 사용할 수 있습니까?

Avro를 사용하여 Hadoop HDFS에서 파일을 저장하고 읽는 데 관심이 있습니다. Avro에 대한 지원 구현과 관련하여 Hadoop 문제 추적기에 Jira 일부를 보았지만 Hadoop에서 Avro 지원을 사용하는 방법에 대한 예제는 없었습니다. 또한 일부 Jira 's가 0.21에 대해 닫혀 있기 때문에 현재 0.20이 Avro에 대한 지원을 가지고

8열

1답변

Hadoop을 HDFS없이 가상 분산 작업으로 실행할 수 있습니까?

로컬 시스템에서 hadoop 응용 프로그램을 실행하기위한 옵션을 탐색 중입니다. 많은 응용 프로그램에서와 같이 처음 몇 개의 릴리즈는 사용 가능한 모든 CPU 코어를 사용할 수있는 한 단일 노드에서 실행할 수 있어야합니다 (예 : this question과 관련 있음). 현재의 한계는 프로덕션 시스템에서 Java 1.5를 사용하고 있기 때문에 최신 릴리즈

6열

3답변

작은 HDFS 블록을 결합하는 가장 쉬운 방법은 무엇입니까?

Flume과 함께 로그를 HDFS에 수집 중입니다. 테스트 케이스의 경우 로그 수집 프로세스가 실제 사용에 맞게 조정 되었기 때문에 작은 파일 (~ 300kB)이 있습니다. 작은 파일을 HDFS 블록 크기 (64MB)에 가까운 큰 파일로 결합하는 쉬운 방법이 있습니까?