mapreduce

0열

1답변

축소 단계 (축소 비율의 67 %)에서 코드 작성이 끝나고 몇 시간이 지나면 코드가 멈추고 실패합니다. 나는이 문제가 감속기가 처리 할 수없는 엄청난 양의 데이터를 받고 메모리 부족으로 끝나는 것을 발견했다. 감속기가 막혔다. 이제이 문제를 해결하기 위해 노력하고 있습니다. 현재, 각 키의 감속기에서받은 값으로 목록을 구성하고 있습니다. 축소 단계가 끝나면

0열

1답변

Hadoop JobHistoryServer가 특정 작업을 저장하지 않습니다.

Hadoop이 설치된 PC 클러스터가 있습니다. 서비스는 잘 작동하고 문제없이 많은 일을했습니다. 연구 목적으로 작업 로그를 JobHistoryServer 서비스로 보냅니다. 한 작업에 대해 기록 서비스가 통계를 저장하지 않았습니다. 동일한 구성으로 다른 작업을 실행하면 통계가 저장됩니다. 하지만이 작업을 다시 실행하면 기록 서버가 통계를 저장하지 않습니다

0열

1답변

하이브 측면도 분해 내부 메커니즘

단일 테이블 (크기 약 12GB)에 대한 단일 쿼리에서 측면보기가 여러 번 (약 9 번) 폭발했습니다. 이로 인해 엄청난 양의지도 측 데이터 (100Pb +)가 생성되었습니다. 12GB에서이 양의 데이터가 어떻게 생성되었는지 이해할 수 없었습니다. 누군가가 측면 폭발이 작동하는 방식을 설명해주십시오. (내부적으로)? 사전에 감사

2열

1답변

hadoop WordCount가지도에서 멈춤 0 % 감소 0 %

저는 중국 학생이고 hadoop 2.7.1에서 초보자입니다. 내 문제를 해결할 수 있으면 고맙겠습니다. 최근에 pseudo-distributed에서 hadoop WordCount 예제를 실행하면지도 0 %에서 멈추어 0 %가 감소합니다. …… 2017-05-14 16:32:55,939 INFO [main] org.apache.hadoop.yarn.cl

1열

1답변

CouchDB를보기 필터 키

를 그룹화하기 전에 다음과 같은 형식의 문서가있는 CouchDB를 데이터베이스가 : { createdBy: 'userId', at: 123456, type: 'action_type' } 나는 각 유형의 많은 동작이있는 생성 된 방법을 나에게 줄 것이다 뷰를 작성하려면 사용자. ? /_design/userActionsDoc/_view/userActions

0열

1답변

매퍼 함수의 다중 출력 Hadoop 버전 문제

Hadoop mapreduce를 구현 중입니다. CustomerID를, IP, Attr의 날짜 1 고객, IP1, ATTR1, 날짜 1 customer2, IP2, ATTR1, 날짜 2 :지도에 내 입력은 아래와 같이 테이블 매퍼의 출력이 있어야 할 여러 파일 파일 1 : IP-m-00000 키 값 customer1_IP1, 날짜 1 customer2_IP

1열

1답변

jar 파일을 만들지 않고 hadoop 작업을 실행합니다.

저는 초보자 인 hadoop에게 자습서 프로젝트 중 일부를 실습했습니다. 처음에 내가 할 수 매퍼 및 감속기 파일을 별도로 hadoop jar /usr/local/hadoop/hadoop-2.8.0/share/hadoop/tools/lib/hadoop-streaming-2.8.0.jar -mapper mapper.py -reducer reducer.py -

0열

2답변

거대한 데이터를 저장하고 실시간으로 업데이트하기위한 HBase 솔루션이 없습니다.

안녕하십니까. 처음으로 TB 결재를 한 다음 20 밀리그램 증분을 삽입/업데이트/삭제와 같이 xml 형식으로 저장해야하는 애플리케이션을 개발했습니다. 이 5TB의 데이터 위에 적용됩니다. 그리고 마침내 요청에 따라 모든 데이터의 전체 스냅 샷을 생성하고 각 데이터가 해당 파일에 있어야하므로 논리를 기반으로 5K 텍스트 파일을 만들어야합니다. HBase를 사

1열

2답변

Map-reduce 출력 파일에서 알 수없는 정수 값 가져 오기

맵퍼 및 감속기를 설정하지 않고 다른 프로그램에서 매개 변수를 설정하지 않는 hadoop map-reduce 프로그램을 작성 중입니다. 저는 작업이 출력과 동일한 출력을 출력 파일에 보낼 것이라고 가정했습니다. 하지만 내가 그 탭 (아마)에 의해 구분 된 모든 라인 출력 파일에 더미 정수 값을 인쇄하는 것으로 나타났습니다. 여기 내 코드입니다 : impor

2열

1답변

오류 : java.io.IOException : 맵에서 키에 유형이 일치하지 않습니다. 예상 org.apache.hadoop.io.Text,받은 org.apache.hadoop.io.LongWritable

샘플을 실행하려고하는데 처음입니다. 책에서 프로그램. 지도에서 키 유형 불일치 : 때 java.io.IOException : 나는 오류를 오류에 직면하고 예상 org.apache.hadoop.io.Text, org.apache.hadoop.io.LongWritable 을받은 것은 아래에 내 코드입니다 package com.hadoop.employee.sal