hdfs

1열

1답변

Hadoop HDFS 테스트 실행 문제 - org.apache.hadoop.conf.Configuration NoClassDefFoundError

Hadoop 0.21.0을 사용하고 있습니다. C API 라이브러리와 함께 제공되는 hdfs_test 응용 프로그램을 실행하려고합니다. 많은 문제가 발생하여 hdfs_test를 컴파일 할 수있었습니다. 이제 때 그것을 실행 해요 : ./hdfs_test 나는 다음과 같은 오류 받고 있어요 : 어떤 도움에 감사드립니다 Exception in thread

0열

1답변

Hadoop 시퀀스 파일의 압축

hadoop 순차 파일에 대한 몇 가지 기본적인 질문이 있습니다. 1) 기본 압축 코덱이 어느 정도까지 파일을 압축합니까? 2)이 파일을 읽고 내가 관찰 텍스트 파일의 텍스트 파일 크기에 대한 내용을 덤프 때 100 메가 바이트 하둡 시퀀스 파일이 1GB의가 (확인을인가 주위에?) 3)을 읽는 동안 시퀀스 파일 의 의미는 무엇입니까? "syncSeen()"

3열

2답변

DFS에서 hadoop 노드를 제거하지만 Mapred에서 노드를 제거하는 방법은 무엇입니까?

나는 상당히 새로운 하둡이다. 일부 벤치 마크를 실행하기 위해 비교를 위해 다양한 hadoop 구성이 필요합니다. DFS에서 hadoop 슬레이브를 제거하는 방법을 알고 싶지만 Mapred (tasktracker를 계속 실행)가 아닌 DFS (더 이상 데이터 노드 데몬을 실행하지 않음)에서 제거하는 방법을 알고 싶습니다. AFAIK, 그런 hadoop 노드

3열

2답변

Java에서 hdfs 프로토콜을 통해 hadoop에 액세스하려면 어떻게해야합니까?

내가 HFTP를 통해 하둡에 연결하는 방법을 발견하고는, (읽기 전용) 잘 작동 : uri = "hftp://172.16.xxx.xxx:50070/"; System.out.println("uri: " + uri); Configuration conf = new Configuration(); FileSystem fs = Fil

6열

3답변

Map/Reduce없이 HDFS 분산 읽기

하나의 시스템에서 HDFS 클라이언트를 사용하여 HDSF 클러스터에서 분산 읽기를 구현할 수 있습니까? 저는 3 개의 데이터 노드 (DN1, DN2, DN3)로 구성된 클러스터로 실험을 수행했습니다. 그런 다음 DN1에있는 클라이언트 프로그램에서 10 개의 독립적 인 파일에서 10 개의 동시 읽기를 실행하며 DN1에서 데이터를 읽는 것으로 나타났습니다. 다

0열

1답변

이미지 저장을위한 Hadoop (HDFS)

최근에는 "Hadoop"이라는 유명한 소프트웨어 스택을 보았습니다. Hadoop은 HDFS라는 분산 파일 시스템을 제공합니다. 이제 이미지와 다른 미디어 파일을 대량 저장하는 시스템이 필요합니다. 작업 읽기> 작업 작성. 신뢰성, 폴백 솔루션 및 성능이 필요합니다.. HDFS가 내 필요에 대한 해답을 얻었습니다. Hadoop (HDFS 사용)이 나에게 적합

1열

1답변

다른 하둡 노드

에 다른 파일을 추가. 파일을 추가하면 모든 노드에 복제됩니다. 다른 파일을 다른 노드에 배포 할 수있는 방법이 있습니까? 예를 들어 4 개의 파일 A, B, C가 있고 DI가 노드 1에 파일 A와 B를 추가하고 노드 2에 남아 있다고 가정합니다. 이것은 가능한 시나리오? 그렇다면 노드 장애시 어떻게됩니까?

1열

2답변

Chukwa & Scribe 사이에 더 좋은 점은 무엇입니까?

Hadoop을 사용하고 있지만 로깅을 위해 뭔가가 필요합니다. 그러나 어느 쪽이 더 좋은 시스템인지는 모르겠다. 필 기사 및 추크. 얘들 아 말해 주시겠습니까? 그리고 Hadoop과 쉽게 어울리는 대안이 있다면 알려주세요. 아파치 수로는 클라우 데라가 내장되어 주로에/HDFS의 출력 데이터를 얻을 수 있도록 설계되었습니다 :

0열

1답변

hadoop이 (가) s3에 액세스 할 수 없습니다.

awo에서 hadoop 액세스 s3에 대한 질문이 있습니다. <property> <name>fs.default.name</name> <value>s3n://testhadoophiveserver</value> </property> <property> <name>fs.s3n.awsAccessKeyId</name> <value>I have fill

1열

1답변

HDFS에 쓰기 : 파일을 덮어 씁니다.

hadoop 파일 시스템에 쓰고 있습니다. 그러나 내가 추가 할 때마다 기존 데이터/파일에 데이터를 추가하는 대신 데이터를 덮어 씁니다. 이 작업을 수행하는 코드는 다음과 같습니다. 이 코드는 여러 데이터에 대해 반복해서 호출됩니다. 문제가 발생할 때마다 새로운 SequenceFile.Writer를 여는 중입니까? 내가 새 경로 ("someDir")로 경로