hdfs

1열

1답변

NFS 마운트에서 hadoop과 병렬 복사를 수행하는 가장 좋은 방법은 무엇입니까? 엄청난 수의 파일이있는 마운트가 있으며 hdfs에 복사해야합니다. 일부 옵션 : 사용 distcp 고립 된 방식으로 다중 스레드 방식으로 실행 copyFromLocal. 복사 할지도 전용 작업을 쓸 수 있습니까? 안부, JD

0열

1답변

Apache Hive의 외부 테이블에서 하위 디렉토리를 무시합니다.

외부 테이블을 쿼리 할 때 하이브에 하위 디렉토리를 무시하도록 설정하거나 강제 설정하는 방법이 있습니까? 테이블 데이터의 일부가 아닌 하위 폴더가 내 테이블 폴더에 있는데 파일을 삭제하거나 파일을 다른 곳에 복사하지 않으려합니다.

0열

1답변

HDFS에서 파일을 업데이트하려고 할 때 HDFS 경로가 변경됨

저는 Hadoop 및 HDFS를 처음 사용하기 때문에 localhost의 단일 노드에서 로컬 (Ubuntu 10.04)에서 HDFS로 복사 할 때 문제가 발생할 수 있습니다. 초기 복사본은 정상적으로 작동하지만 로컬 입력 폴더를 수정하고 HDFS로 다시 복사하려고하면 HDFS 경로가 변경됩니다. ~$ $HADOOP_HOME/bin/hadoop dfs -co

0열

1답변

setCompressOutput in Hadoop

언제 사용해야하며 사용하지 않을 때는 FileOutputFormat.setCompressOutput(conf, true);? 나는 그것이 매퍼 출력을 압축한다고 들었다. 감속기 측면 출력을 압축 할 수 있습니까? (내 가정이 잘못되면, 매퍼 출력 및 감속기 출력을 압축하는 방법, 저를 취소하십시오!) 당신은 mapred.compress.map.output으

0열

1답변

클라우드에서 호스팅되는 웹 응용 프로그램의 확장 성 측정

elgg 프레임 워크를 사용하여 소셜 네트워킹 사이트를 개발했으며 아마존 클라우드 (Amazon EC2, 무료 티어 마이크로 인스턴스 서비스)에서 호스팅하므로 벤치 마크를 개발합니다. 나는 각각의 사용자 (대부분이 더미 임)를 설명하는 약 200 개의 열을 생성하고 있으며, 이후에는 일부 사용자의 프로필이 업데이트 된 백만 명의 사용자를 생성해야합니다. 이

1열

1답변

hadoop에서 작업 추적기/작업 추적기 웹 인터페이스를 공개하는 방법은 무엇입니까?

다른 클러스터 노드를 모니터링하려고 시도하지만 매번 노드에 ssh -X를하고 브라우저를 시작하여 상태 정보를 확인해야합니다. 어쨌든 http://jobtracker:50030, http://namenode:50070 등 공개 액세스가 가능합니까? 누구나 브라우저에서 볼 수 있습니다. 아마도이 설정은 서버로 수행해야합니다. 그러나 나는 그것을 googlein

6열

2답변

Hadoop MapReduce를 실행하면 HDFS 외부에서 외부 실행 파일을 호출 할 수 있습니까?

내 매퍼 내에서 HDFS 외부의 작업자 노드에 설치된 외부 소프트웨어를 호출하고 싶습니다. 이것이 가능한가? 이 작업을 수행하는 가장 좋은 방법은 무엇입니까? MapReduce의 장점/확장성에는 다소의 차이가있을 수 있지만 HDFS 내에서 상호 작용하고 일부 데이터를 처리하기 위해 내 매퍼에서 컴파일/설치된 외부 소프트웨어 코드를 호출하고 싶습니다.

2열

2답변

HBase에서 이미지를 가져올 수있는 방법

내 HDFS에 약 1 기가의 이미지 .png 파일이 있습니다. 누구나 나에게 HBase의 이러한 이미지에 인덱스 값을 저장하고 HBase를 쿼리하여 이미지를 검색 할 수있는 방법을 제안 할 수 있습니까? 아니면 HDFS/HBase를 사용하여 이미지를 제공 할 수 있습니까? Pls 답장. 긴급 요구 사항 :(이미지 파일을 제공하는 두 가지 기본 방법이 있습니

5열

2답변

hive/hadoop은 각 매퍼가 로컬 데이터에 대해 어떻게 작동하는지 어떻게 보증합니까?

2 기본적인 질문에 문제가 나 : 어떻게 32 개 파일 하이브 각각 고유의 컴퓨터에 내 테이블을 저장하기 위해 앉아 사용하는 확신 할 수 있습니까? 하이브가 32 개의 매퍼를 만드는 경우 각자 해당 데이터에서 작동하는지 어떻게 확인할 수 있습니까? hadoop/hdfs가이 마법을 보장합니까, 아니면 똑똑한 응용 프로그램이 하이브 (hive)로 일어날 것인가

12열

5답변

LeaseExpiredException : HDFS에 임대 오류가 없습니다.

대용량 데이터를 HDFS로로드하려고하는데 다음 오류가 표시되는 경우가 있습니다. 왜 어떤 생각? 오류 : org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /data/work/20110926-134514/_