hdfs

3열

1답변

hdfs 저장소의 테이블에 추가 할 데이터 프레임을 여러 번 반복하여 처리하려고합니다. 색인은 서로 중첩됩니다. 저장소에없는 인덱스가있는 행만 추가하려고합니다. MCVE 내 데이터가 d1 및 d2 프레임 고려 : 나는 다음과 같은 논리를 달성 할 d1 = pd.DataFrame.from_dict( {('a', 'x'): {'col': 1}, ('a'

0열

1답변

쓰기 후 Hadoop 파일 비움

우리는 MongoDB에서 데이터를 검색하고 Hadoop 클러스터에 씁니다. 데이터는 ˚ Configuration conf = new Configuration(); conf.addResource(new Path("/etc/hadoop/conf/core-site.xml")); conf.addResource(new Path("/etc/hadoop/conf/h

1열

1답변

하둡 분산 파일 시스템에 파이썬 파일 (평) (HDFS)

하둡은 hadoop jar <jar> 지금 내가 대신 파이썬 스크립트를 사용하여 클러스터에 직접 자바 응용 프로그램을 실행할 수있는 가능성을 제공을 실행하는 방법 자바 애플리케이션. 다음은 는 모든 기능이없는 평 파일의 구조, 그냥 왼쪽 "제거 - 파일 -에서 폴더"부분 import os.path def transform(): inputfo

1열

1답변

Hadoop Mapreduce HDFS 블록 분할

제 질문은 공간이 분리 된 100 단어의 텍스트 파일이 있고 단어 개수 프로그램을 수행해야한다는 것입니다. 내 이름 노드가 파일을 HDFS 블록으로 분할하면 어떻게 분할이 단어 끝에 만 이루어질 수 있습니까? 예를 들어 텍스트 파일에서 50 번째 단어가 Hadoop 인 경우 64MB 블록으로 분할하는 경우 현재 블록의 저장소가 Hadoop 단어의 중심에서

0열

1답변

hdfs : 충분한 복제본을 배치하지 못했습니다 : 예상 크기는 2이지만 저장 유형은 0 개만 선택 가능합니다.

변경된 내용과 갑자기이 오류가 발생했는지 확실하지 않습니다. Hdfs는 도커 클러스터 (1 rm + 2 노드)에서 실행됩니다. 은 컨테이너 내부에서 제대로 작동하므로 데이터 노드에는 문제가 없습니다. 코드 또는 hdfs 명령을 사용하여 호스트 시스템에서 hdfs로 파일을 복사 할 때 발생합니다. 오류 스택은 hadoop-root-namenode-master

0열

1답변

복사 JSON 플랫 파일

package com.Main; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI;

0열

2답변

Hadoop Dfs 및 mapreduce에 입력으로 여러 개의 파일이 있습니다.

보통 우리는 하나의 텍스트 파일을 java 파일의 입력으로 제공합니다 (예 : 간단한 단어 수의 경우). 대신 이제는 100 개의 csv 파일이 있습니다. (모든 파일을 단일 파일로 병합 할 수는 없습니다.) 주어진 100 개 주식의 최대/최소 주가 변동성을 예측하려고하므로 각 CSV 파일은 고유합니다. 그래서 csv 파일의 전체 폴더를 java 프로그램의

-1열

1답변

Spark-Java를 사용하여 hdfs 파일에 액세스 할 수있는 사용자 목록 가져 오기

Java로 작성된 Spark 작업에서 특정 hdfs 파일에 액세스 할 수있는 모든 linux/centos 사용자 목록을 가져 오려고합니다 . 모든 포인터가 도움이 될 것입니다. 현재 Java 코드 아래에서 정보를 얻기 위해 노력하고 있지만 제대로 작동하지 않습니다. 결과 = Shell.execCommand ("sudo", "bash", "-c", "lid"

0열

1답변

sqoop 가져 오기 ClassNotFountException 오류를 보여주는 mysql 테이블을 식별하지 않습니다.

나는 mysql 테이블 "고객"을 가지고 있으며 sqoop 가져 오기를 사용하여 MySQL에서 hdfs 위치로 데이터 가져 오기를 시도했습니다. Sqoop을 버전 : 1.4.6 하이브 버전 : 2.3.0 하둡 버전 : 2.8.1 Sqoop을 가져 오기 명령 : 아래는 내가 내 컴퓨터에 설치되어있는 버전입니다 sqoop import --connect jdbc

0열

1답변

는 다음 작업 속성 oozie 작업에 대한 LIBPATH를 설정하는 경우 : oozie.libpath=${nameNode}/user/usernamexxx/share/lib oozie.use.system.libpath=true (클러스터의 oozie 작업을 많이 사용이 설정은)는 HDFS 복제 요인은 3보다 훨씬 높은 또는 모든 노드에 걸쳐해야 하는가?