hdfs

0열

1답변

작업자 컴퓨터에 디스크를 증가하는 경우에 청사진/ambari 클러스터를 업데이트하는 방법

우리는 각 근로자가 5 개 디스크가 3 개 석사 기계, 두 카프카의 3 노동자 기계 와 ambari 클러스터가로 : /dev/sdb 200G 477M 200G 3% /gr/sdb /dev/sdc 200G 183M 200G 1% /gr/sdc /dev/sdd 200G 283M 200G 2% /gr/sdd /dev/sde 20

0열

2답변

hdfs 디렉토리에 대한 읽기 권한을 변경할 수 없습니다.

텍스트 파일을 hdfs 위치로 복사하려고합니다. 나는 액세스 문제에 직면하고 있으므로 권한을 변경하려고 시도했습니다. 는하지만 오류가 아래 같은 외장을 변경할 수 없습니다 해요 : [email protected]:~$ hadoop fs -put test.txt /user put: Permission denied: user=chaithu, access=WR

1열

1답변

새 노드 추가 - 새 노드에 서식 지정?

3 개의 VM을 가진 매우 간단한 Hadoop 클러스터를 설정했습니다. 하나는 NameNode로, 다른 하나는 데이터 노드입니다. format 명령으로 HDFS 파일 시스템을 만들었고 모든 것이 잘 작동합니다. 파일을 HDFS 시스템에 저장할 수 있습니다. 이제 다른 데이터 노드를 추가하고 싶습니다. 내 가정은 새 노드를 설정하여 슬레이브 파일에 추가하고

0열

1답변

HDFS 벤치 마크 - Terasort 출력 레코드 수

질문은 테라토리트 예제와 관련이 있습니다. terasort를 사용하여 출력 레코드의 양을 변경하는 매개 변수가 있습니까? teragen으로 생성 된 입력은 65'536'000이지만 terasort를 실행하고 10'000'000 개의 레코드를 출력해야합니다. 이 요청은 Cloudera 배포판의 사례로서 실제 사례가 아니라 구현 사례에 대한 벤치 마크입니다.

1열

2답변

쿼리 절이있는 Sqoop

Oracle에서 Hive로 일부 데이터를 이동해야하며 Sqoop이 유용한 도구라는 것을 알았습니다. 문제는 쿼리를 처리하고 결과를 대상 데이터베이스의 테이블에 삽입해야한다는 것입니다. 오라클 함수 결과 -> HiveDB.myTable 내가이 명령을 발견 sqoop import --connect jdbc:oracle:thin:@******:1522/** -

0열

1답변

Pyspark check hdfs folder 수정 날짜

나는 pyspark에 새로 왔습니다. pyspark에서 궁금해하는 부분은 HDFS fold로 날짜를 수정할 수있는 기능이 있습니까? 이러한 HDFS와 같이 : 당신은 날짜를 얻을 수있는 HDFS 파일이나 디렉토리 다음 파이썬 시간 형식화하는 기능에 대한 수정 시간을 가져 오기위한 파일 시스템 API를 사용할 수 있습니다 def get_user_folder_

1열

2답변

HDFS에 데이터를 저장하는 형식은 무엇입니까?

DataFrame을 만든 후 avro, csv 또는 쪽모 세공 형식으로 저장할 수 있습니다. Hadoop HDFS에서 데이터를 저장할 수있는 다른 형식은 dataframe 또는 rdd에서 사용할 수 있습니까? What Is Apache Hadoop?에서

2열

1답변

Python hdfs 파일에 쓰기

로컬 Python 스크립트의 HDFS에서 파일을 작성/쓰기/업데이트하는 가장 좋은 방법은 무엇입니까? 파일 및 디렉토리를 나열 할 수 있지만 글이 문제가되는 것 같습니다. 나는 hdfs과 snakebite을 검색했지만 그 중 누구도 이것을 수행 할 수있는 방법이 없습니다.

2열

1답변

HBase : MasterNotRunningException : 노드/hbase가 사육사에 없습니다

카프카 (kafka) 항목의 데이터를 읽고 HBase 테이블에 쓸 스트림 세트가있는 파이프 라인을 구축 중입니다. 나는 HDFS 파일에 기록 할 수 있어요,하지만 난 다음 오류 내려면 HBase를 대상 사용하려고하면 내가 서비스를 관리하는 클라우 데라를 사용하고, 그리고 내가 구성한 다음 HBase를 대상의 속성 : Zookeeper quorum : (my

0열

1답변

맵리 듀스와 HDFS 블록 내가 읽어 하둡 자바에 대한 교과서에서 크기

: 맵리 듀스에서 지도 작업을 일반적으로 한 번에 하나 개의 블록에 동작의 노드에 비해 그래서 당신이있는 경우에 너무 적은 작업 (이하 클러스터), 귀하의 작업이 달리 수행 할 수있는 것보다 느리게 실행됩니다 이 문장은 HDFS 블록 크기에 대한 단락에 있지만 그 의미를 이해하지 못합니다. 도와 주시겠습니까?