mapreduce

0열

2답변

로컬 컴퓨터에서 node, datanode 및 mr 서비스 이름을 시작했으며 모든 서비스가 실행 중입니다. kv:~ karan.verma$ jps 4499 SecondaryNameNode 420 4676 NodeManager 4741 JobHistoryServer 5125 Jps 4406 DataNode 4600 ResourceManager

0열

2답변

지도

내가 내 자신에 의해 빅 데이터 하둡을 배우고 작동하지 않는 드라이버 코드를 줄이고 나는 간단한지도 호야를 작동하지 단어 개수에 대한 코드를 절감 썼다는 모습을 // importing all classes public class WordCount { public static class Map extends Mapper<LongWritabl

0열

1답변

지도

2 개 파일의 내용을 가입 절감 사용하여 여러 파일의 결합 : 첫 번째 파일 (포함 직원 이름 데이터) id,name 101,Gaurav 102,Rohit 103,Karishma 104,Darshan 105,Divya 두 번째 파일 (포함 직원 부서 데이터) id,dept 101,Sales 102,Research 103,NMG 104,A

0열

2답변

Hadoop 매퍼가 다음 블록으로 부분적으로 유출되는 레코드에서 어떻게 작동합니까?

MapReduce, 특히 다음 쿼리를 배우려고합니다. HDFS의 데이터는 블록으로 나누어지고 일반적으로 Mapper는 한 번에 한 블록에서 작동합니다. record이 다른 블록으로 유출되는 상황이 발생할 수 있습니다. 예를 들면 다음과 같습니다. 데이터 세트 : "안녕하세요, 어떻게 하 시렵니까?"; 이 데이터는 두 개의 다른 블록으로 유출 될 수 있습니다

0열

1답변

Hadoop의 다양한 유형의 데이터 세트에 대한 MapReduce의 레코드 정의?

텍스트 이외의 데이터 형식 인 MapReduce Hadoop에서 Record의 정의를 이해하고 싶습니다. 일반적으로 Text 데이터의 경우 레코드는 줄 바꿈으로 전체 라인 종료됩니다. XML 데이터를 처리하려면이 데이터가 어떻게 처리되어야합니까? 즉, 정의에서 mapper이 작동하는 방식은 무엇입니까? 나는 InputFormat과 RecordReader이라

0열

1답변

맵리 듀스 : 정보 mapreduce.Job : 실행중인 작업 : job_1506081922448_0004

[[email protected] mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.6.4.jar wordcount /wordcount/input/ /wordcount/output 17/09/22 20:33:50 INFO client.RMProxy: Connecting to ResourceManager at /

1열

1답변

HBase 기반 Hive 테이블에서 MapReduce를 사용하는 이유

내 프로젝트에서 Hbase 지원 하이브 테이블을 사용하고 있지만 Hbase 지원 하이브를 선택한 이유는 업데이트를 수행하기 때문입니다. 이외에도 Hbase 지원 하이브 테이블의 다른 장점은 무엇입니까? Hive에서 쿼리 할 때 여전히 MapReduce를 사용합니다. 작은 데이터 세트를 원한다고해도 테이블이 거대하면 결과를 내기까지 시간이 걸립니다. 그러나

1열

1답변

Hadoop의 감속기에서 이상한 동작

나는 을 구현하는 Pair이라는 간단한 클래스가 있습니다. 두 개의 필드를 포함하며 MapReduce 프로세스의 Value로 사용됩니다. 각 키에 대해 쌍의 필드 중 가장 큰 값 (preco)으로 쌍을 찾고 싶습니다. float max = 0; String country = ""; for (Pair p : values){ if (p.getPre

2열

1답변

하둡지도 축소/쇼 오류 : com.mongodb.connection.SslSettings $ Builder.context (Ljavax/인터넷/SSL /의 SSLContext)

내가 실행 지도/정기적으로 작업을 줄이고, 최근에 나는 로그의이 종류를 받고있다 :이 17/09/27 10:44:12 INFO mapreduce.Job: Job job_1494368272823_5583 failed with state FAILED due to: Task failed task_1494368272823_5583_m_000025 Job faile

0열

1답변

레코드를 데이터베이스에 삽입하기 만하면됩니다.

S3에서 병렬로 처리하려는 많은 양의 로그 파일이 있습니다. 필자는 필요하지 않은 레코드를 삭제할 수도 있지만 그렇지 않으면 레코드를 데이터베이스에 일괄 적으로 삽입합니다. 필자는 반드시 여러 개의 키/값 쌍이 필요하지 않으므로 단일 키를 모든 레코드에 매핑하여 감속기에 전달합니다. 감속기는 레코드를 일괄 처리하고 DB 호출을합니다. 대신 매퍼에서이 모든