mapreduce

0열

1답변

그래서이 웹 사이트 ()의 Mapreduce Python 코드를 따라 텍스트 파일에서 단어 수를 반환합니다 (예 : 단어 및 발생 횟수). 텍스트). 그러나 최대 발생 단어를 반환하는 방법을 알고 싶습니다. #Mapper import sys # input comes from STDIN (standard input) for line in sys.st

0열

1답변

Custom Partitioner Hadoop에서 감속기 당 출력 파일 수를 설정하는 방법

내 논리를 기반으로 사용자 정의 파티션을 구현했습니다. 파일도 제대로 가져올 수 있습니다. 그러나 감속기의 일부가 매우 큰 데이터를 가지고 있기 때문에 조건을 충족 할 수 있습니다. 그리고 그것은 감속기 단계에서 지연을 가져온다. 그래서 하나의 감속기 출력 파일 안에 많은 작은 파일을 만들 수있는 방법이 있습니다. 여기 public class MyParti

1열

1답변

Hadoop 1.x의 MapReduce 이해

Hadoop 1.x와 관련하여 "MapReduce"라는 용어가 혼란 스럽습니다. 이 점에 관해서는 JobTracker, TaskTracker (MapReduce의 데몬)과 같은 다양한 용어를 사용합니다. MapReduce는 MapReduce 애플리케이션을 코딩하기 위해 개발자가 사용하는 API 또는 이러한 데몬을 나타냅니다. 사용자 응용 프로그램이 Task

0열

1답변

아파치 스파크 : 방송

내가 힘든 시간을 원사에 내 스파크 1.6.2 응용 프로그램을 디버깅하는 데 문제가에 달려 있습니다. 클라이언트 모드에서 실행 중입니다. 본질적으로 충돌없이 잠그고 있으며 콘솔에있는 로그는 잠길 때 아래와 같이 표시됩니다. 17/03/31 20:12:02 INFO BlockManagerInfo: Added broadcast_2_piece0 in memory

-1열

1답변

스레드 "main"의 예외 0 : 해당 파일이나 디렉토리가 없습니다. hadoop map reduce

map reduce를 사용하여 기본 단어 수 작업을 실행하려고합니다. 소스 코드는 공식 웹 사이트에서 구할 수 있습니다. import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.had

2열

1답변

Split size가 mapreduce 프레임 워크의 실제 Block size보다 큰 경우 어떻게됩니까?

내 지식에 따라 하나의 매퍼가 하나의 분할에 할당됩니다. 하지만 스플릿 크기가 실제 블록 크기보다 큰 경우 어떻게됩니까? 예 : Block size = 128 Mb 및 Split Size = 130 Mb를 입력하면이 경우 얼마나 많은 매퍼가 실행됩니까? 그것은 하나의 매퍼입니까, 아니면 하나 이상의 매퍼입니까?

5열

1답변

MapReduce 프로그램의 셔플 단계가 매핑과 동시에 실행됩니까?

MapReduce 프로그램을 이해하려고했습니다. 이를 수행하는 동안, 모든 맵 작업이 완료된 후에는 reduce 작업이 거의 즉시 실행되기 시작했습니다. 이제 놀랍습니다. 키를 기준으로 그룹화 된 데이터로 축소 작업을 수행 할 수 있습니다. 즉, 중간에 셔플/정렬 단계가 수행됩니다. 이것이 발생할 수있는 유일한 방법은 매핑과 병행하여 셔플을 수행하는 경우입

0열

1답변

mapreduce 웹 응용 프로그램을 만드는 방법

웹 사이트를 만들고 싶습니다. (Hadoop mapreduce)로 구현할 웹 사이트의 일부를 만들고 싶습니다. 내 운영체제 (Mac OS)에서 maven plugin으로 이클립스를 사용하기 시작한다. 코드 작성을 위해 apache maven으로 코딩을 시작합니다. "아직 웹 사이트를 구현하지 않았습니다." 제 질문은 기계 클러스터에서 실행되는지 여부입니다.

0열

1답변

다중 출력을 context.write없이 사용 빈 파일

MultipleOutputs 클래스를 사용하는 방법을 모르겠습니다. 여러 출력 파일을 만드는 데 사용하고 있습니다. 내가 context.write을 사용하면 내 드라이버 클래스의 코드 Configuration conf = new Configuration(); Job job = Job.getInstance(conf); job.setJarB

-1열

1답변

오류 : 메인 클래스 cgl.imr.worker.TwisterDaemon을 찾거나로드 할 수 없습니다. (우분투에서)

우분투를 사용하고 있습니다. 16.0 & jdk 1.8을 사용하여 단일 시스템 용 twister0.9를 구성한 후 사용자 가이드의 모든 단계를 수행했지만 $ TWISTER_HOME/bin/start_twister.sh를 실행하십시오. follogin 오류가 표시됩니다. 오류 : 메인 클래스를 찾을 수 없거나로드 할 수 없습니다. 내게 도움이됩니다. 미리 감