mapreduce

0열

1답변

내가 하둡 클러스터가 완료 결코 내가 REST API를 사용하여 다른 컴퓨터에서 실행 내 자바 코드에서 단어 수 작업을 실행하기 위해 노력하고있어. 내가 클러스터에 제출 얻을 작업을 Configuration conf = new Configuration(); conf.set("yarn.resourcemanager.address", resourceM

2열

1답변

에포크를 날짜 및 시간으로 변환 - HADOOP

Iam이 hadoop (mapreduce)을 배우려고합니다. 나는 파서를 만들기 위해 Date 클래스를 사용하는 mapper 메서드를 가지고있다; epoch_time; 필드는 데이터 집합의 밀리 초 단위로 표시됩니다. 데이터 세트는 25.05.2015에서 10.08.2015 사이의 기간으로 구성됩니다. 시간을 날짜/시간으로 변환하고 싶지만 05.06.201

0열

1답변

Mapreduce Mapper는 감속기 계산을 위해 2 개의 키를 만듭니다.

2 개의 열이 탭으로 구분 된 데이터 세트에서 2 개의 키를 만들려고합니다. 1 키/값을 만드는 방법을 알고 있지만 키/값의 두 번째 쌍을 만드는 방법을 모르겠습니다. 본질적으로 각 열에 대해 키/값을 만들고 싶습니다. 그런 다음 감속기 부분에서 각 키 수의 차이를 가져옵니다. 수도, 내가 데이터를 감속기에 매퍼에서 전달되는 부분에 뭔가를했다고 생각 pub

0열

1답변

MapReduce 처리가 로컬 파일 시스템과 어떻게 작동합니까?

입력/출력이 로컬 파일 시스템의 경우 MapReduce 처리는 어떻게 작동합니까? MapReduce 작업 실행이 Hadoop 클러스터에서 비동기 적으로 발생합니까? 그렇다면 어떻게됩니까? 우리는 실제로이 접근법을 사용해야합니까? (가 로컬 시스템이 아닌 클러스터의 효율성이 떨어지는 것 같은 효율성 만의 문제)

0열

1답변

아파치는 자동 크기 조정 속성을 스파크 - 스파크 프로그램의 실행 동안 플라이

에 근로자를 추가의 말을하자, 메모리에 데이터 10GB의 읽기, 단지 필터링,지도를하고, 다음 다른에 저장 저장. 로드에 따라 클러스터를 자동으로 스케일링 할 수 있습니까? 예를 들어이 프로그램이 궁극적으로 10GB 대신 1TB를 처리해야한다면 Worker Nodes를 프로그램에 추가 할 수 있습니까? 가능하다면 어떻게 할 수 있습니까?

0열

2답변

감속기의 값을 기준으로 오름차순 정렬

내가 hadoop mapreduce 프로그래밍 패러다임을 처음 사용하는 사람은 어떻게 값을 기반으로 쉽게 정렬 할 수 있습니까? 나는 다른 비교기 클래스를 구현하려했지만 감속기의 값을 기준으로 정렬 작업을 수행하는 것과 같은 간단한 방법이 있습니다. 기본적으로 로그 파일을 읽고 있는데 오름차순으로 조회수를 계산할 URL을 주문하고 싶습니다. public s

1열

1답변

스파크 작업이있을 때 Hadoop - Sqoop 작업이 ACCEPTED에서 멈춤 RUNNING

현재 실행해야 할 스파크 작업 (java)이 있습니다. 너무 많은 리소스가 필요하지 않습니다. 그러나 sqoop 작업 (MapReduce)을 실행할 때마다 작업이 ACCEPTED : AM 컨테이너가 할당되고 시작되고 RM에 등록 될 때까지 대기합니다. 나는 Ambari를 확인했고 일정을위한 spark 설정은 FAIR입니다. 테스트를 위해 동일한 불꽃 작업

0열

1답변

MapReduce의 결과를 다른 MapReduce (java 및 hadoop)에 전달하는 방법

나는 MapReduce을 실행하는 데 필요한 6 개의 CSV 개의 파일이 있습니다. 먼저 데이터 (예 : Python 또는 다른 도구)에 합류 한 다음 MapReduce을 통해 실행 하시겠습니까? 또는 첫 번째 MapReduce을 완성한 다음 .txt 결과를 다음 MapReduce에 입력하여 요약하고 다른 데이터 세트에 참여 하시겠습니까? Java과 Had

-1열

1답변

Hdfs 파일 줄 수

명령 프롬프트에서 다음 명령을 수행하면 Java에서 HDFS 디렉토리의 행을 세는 방법이 있습니까? hadoop fs -cat /abc/def/* | wc -l 특히 map-reduce 또는 spark 코드를 작성하는 대신 HADOOP API를 사용합니다. 이 같은

1열

1답변

Hadoop 모든 단어에 대해 0 카운트를주는 WordCount

hadoop의 WordCount 프로그램에 문제가 있습니다. 단어 수는 정확하지 않지만 모든 단어에 대해 0을 표시하지만 모든 고유 단어가 출력에 표시됩니다. 나는 항아리를 실행하면 import org.apache.hadoop.fs.Path; import org.apache.hadoop.mapred.*; import java.io.IOException;