hdfs

3열

1답변

우리는 현재 매우 큰 데이터 세트 (수십억)에 데이터를 효과적으로 저장하고 검색하는 방법에 대한 문제에 직면 해 있습니다. 우리는 mysql을 사용하여 시스템, OS, 습격, 질의, 인덱스 등을 최적화했으며, 이제 계속 나아갈 것입니다. 데이터 문제를 해결하기 위해 어떤 기술을 추구 할 것인지 결정해야합니다. HDFS로지도/축소를 조사했지만 HBase에 대

1열

1답변

Hadoop DFS가 현재 디렉토리를 가리키고 있습니다.

몇 달 전에 로컬 컴퓨터에 CLoudera Hadoop 3를 설치했으며 모든 것이 잘되었습니다. 최근 우리는 Whirr을 설치하여 클러스터 작업을 시작했습니다. 우리는 몇 가지 문제에 직면했지만 잠시 후 클러스터를 시작하고 마스터 노드에 로그인하여 작업을 시작할 수 있습니다. 그러나, 나는 내가 입력 할 때 것을 최근에 발견 : 하둡 DFS는 우리의 로컬

5열

1답변

HDFS에 따르면 파일은 아직 열리지 만 프로세스 쓰기가 종료되었다고합니다

저는 hadoop을 처음 사용하고 있으며 지난 몇 시간 동안이 문제를 Google에 보냈지만 도움이되는 정보는 찾을 수 없었습니다. 내 문제는 HDFS에 의하면 파일을 쓰는 과정이 오래 전에 끝났다고하더라도 파일이 아직 열려 있다고합니다. 이로 인해 파일에서 읽을 수 없습니다. 나는 디렉토리에서 fsck를 실행했으며 모든 것이 정상이라고보고합니다. 그러나

5열

1답변

이 Hadoop 파일 시스템 설치 오류를 어떻게 해결할 수 있습니까?

비 Cloudera Ubuntu 테스트 이미지에 Hadoop을 설치하려고합니다. 내가 ./bin/start-all.sh을 달릴 때까지 모든 것이 잘 진행된 것 같습니다. 파일 시스템에 연결하기 위해 hadoop fs -ls을 실행할 수 없기 때문에 이름 노드는 절대로 나오지 않습니다. 내가 루트 디렉토리에 chmod -R 755를했습니다조차 확인 디렉토리

1열

4답변

HDFS의 파일 블록

Hadoop은 동일한 파일의 다른 블록이 클러스터의 다른 시스템에 저장된다는 것을 보장합니까? 분명히 복제 된 블록은 다른 컴퓨터에있을 것입니다.

0열

1답변

/* url *의 실제 이름을 저장하는 방법은 무엇입니까?

나는 HDFS (하둡)에 스크립트를 변환 그리고 난이 cmd를 가지고 : HDFS와 tail -n+$indexedPlus1 $seedsDir/*url* | head -n$it_size > $it_seedsDir/urls 내가 -get 사용하여 파일을 얻을 필요하고이 작품을. bin/hadoop dfs -get $seedsDir/*url* . 그러나

5열

1답변

가상 배포 된 hadoop 모드에서 hdfs 관리

내 쿼드 코어 컴퓨터에서 hadoop 및 mahout을 사용하여 일부 계산을 수행하고자하므로 pseudo-distributed 모드에서 hadoop을 사용하고 있습니다. 내 루트 drve의 공간이 제한되어 있으므로 다른 외장 하드 드라이브에서 사용 가능한 공간을 사용하도록 구성 할 수 있습니까?

1열

2답변

Java가 아닌 클라이언트에서 HDFS 파일을 읽는 방법

내 MR 작업은 보고서 파일을 생성하고 일반 웹에서 버튼을 클릭해야하는 최종 사용자가 해당 파일을 다운로드 할 수 있어야합니다 인터페이스를보고하고 출력을 다운로드해야합니다. this O'Reilly book excerpt에 따르면 HTTP 읽기 전용 인터페이스가 있습니다. XML 기반이지만, 프로그래밍 방식으로 쿼리하고, 나열하고, 다운로드 할 수있는 것이

3열

1답변

HDFS의 DFSClient와 FileSystem의 차이점

Hadoop DFS (HDFS)의 DFSClient Protocol과 FileSystem 클래스 간의 차이는 입니다. 두 클래스 모두 HDFS에서 원격 클라이언트를 namenode에 연결하는 데 사용됩니다. 따라서의 장점 중 하나 인 의 이점과 원격 클라이언트 연결에 적합한 이점을 알고 싶습니다.

7열

1답변

hadoop namenode가 이미 포맷되어 있는지 어떻게 알 수 있습니까?

처음으로 내 하둡 네임 노드를 구성, 나는 bin/hadoop namenode -format 하지만 실행이 두 번째로, HDFS에 데이터를로드 한 후, 모든 것을하고 다시 포맷을 닦아 주실 것이다 실행해야합니다 알고 있습니다. 이미 namenode가 포맷되어 있는지 쉽게 알 수 있습니까?