hdfs

3열

3답변

Hadoop Hive - Hive JDBC 클라이언트에서 사용할 jar 파일을 어떻게 추가 할 수 있습니까?

그래서 hdfs와 하이브가 함께 작동합니다. 또한 원격 jdbc 호출을 할 수 있도록 하이브 기능을위한 jdbc 드라이버가 있습니다. 이제 하이브 사용자 정의 함수 (UDF)를 추가했습니다. 그것은 CLI에서 잘 작동합니다 ... 나는 심지어 항아리와 관련된 기능을 .hiverc 파일을 통해 자동으로로드합니다. 그러나 하이브 jdbc 드라이버를 사용하여이

1열

1답변

Ruby를 사용하여 MapR HDFS에서 파일을 저장하는 방법

Ruby에서 Hadoop의 MapR 배포를 사용하여 HDFS에 파일을 저장하는 방법이 있습니까? thriftfs이라는 슬리 프 API가있어 클라이언트의 HDFS와 통신 할 수 있지만 MapR에 번들되지 않은 것처럼 보입니다.

2열

1답변

Hadoop. HDFS에서 파일 생성에 관하여

I read that 클라이언트가 HDFS (Hadoop 분산 파일 시스템)에 파일을 생성해야 할 때마다 클라이언트의 파일은 64MB가되어야합니다. 사실입니까?64MB 미만인 HDFS에서 파일을로드하는 방법은 무엇입니까? 다른 파일을 처리하기위한 참조 용 파일을로드 할 수 있습니까? 모든 데이터 노드에서 사용할 수 있어야합니까?

2열

2답변

hadoop hdfs 파일 시스템 이름 변경에 관하여

나는 많은 데이터를 hdfs에 저장하고있다. 그리고 한 폴더에서 다른 폴더로 파일을 옮겨야합니다. 일반적으로 파일 시스템의 이름 바꾸기 방법의 비용은 얼마입니까? 테라 바이트의 데이터를 이동해야한다고합니다. 대단히 감사합니다.

0열

1답변

hdfs movefromlocal과 copyFromLocalFile의 차이점

큰 데이터를 저장하기 위해 hadoop hdfs를 사용하고 있습니다. 먼저 로컬에서 hadoop으로 파일을 전송해야합니다. 이제 copyFromLocalFile 메서드를 사용하고 delete afet copy를 true로 설정합니다. 복사와 이동의 차이점은 무엇입니까? 어느 것이 더 효과적이고 안전합니까? 매우 감사하고 좋은 주말 :

0열

3답변

java 응용 프로그램에서 mapreduce 작업을 실행할 때 예외가 발생했습니다.

java 응용 프로그램에서 mapreduce 작업을 호출해야합니다. 내가 conf의의 mapred.job.jobtracker를 설정하지 않으면 내가 ToolRunner.run(new Validation(), pathsMoveToFinal.toArray(new String[pathsMoveToFinal.size()])); 사용, 영원히 같이 실행됩니다.

3열

1답변

hbase 가상 분산 원격 연결

HBase & HDFS가 가상 분산 모드 (Mac OSX)에서 설정 및 작동합니다. 또한 간단한 Java 응용 프로그램이 있습니다. 로컬에서 사용할 때 작동합니다. 원격으로 작동시키고 싶습니다. 서버가 라우터 뒤에 숨겨져 필요한 모든 포트가 전달되었습니다. 내가 원격으로 연결하려고하면 내가 얻을 : ... 12/01/25 23:21:15 INFO zook

1열

2답변

에 대한 hadoop 파일 시스템 transferFromLocalFile

나는 hadoop hdfs 병렬로 파일을 전송하는 코드를 작성 중이다. 그래서 나는 filesystem.copyFromLocalFile을 호출하는 많은 쓰레드를 가지고있다. 파일 시스템을 여는 데 드는 비용은 작지 않으므로 프로젝트에 하나의 파일 시스템 만 열었습니다. 그래서 나는 많은 스레드가 동시에 그것을 호출 할 때 문제가있을 수 있습니다. 그러나 지

2열

1답변

mapreduce에서 로컬 hdfs 파일을 어떻게 참조합니까?

내 mapreduce 스크립트 내에서 hadoop의 hdfs 클러스터에있는 파일을 참조하고 싶습니다. 전체 경로 (hdfs : // ip/path/to/file)를 사용하지 않고 대신 local/path/to/file 참조를 사용할 수 있습니까? 저는 java를 사용하고 다음과 같이 시도했습니다 : File file = new File(stringPathT

7열

4답변

HDFS 대 GridFS : 언제 어떤 것을 사용합니까?

HDFS와 GridFS는 분산 파일 저장을위한 두 가지 훌륭한 기술이지만 그 차이점은 무엇입니까? 어떤 유형의 문제가 각각에 더 잘 맞습니까?