특정 hadoop 슬레이브에서 파일의 행을 처리하는 방법은 무엇입니까?

우리는 입력 파일의 각 줄마다 별도의 분할을 생성하는 FileInputFormat을 확장하는 사용자 지정 입력 형식을 사용합니다. 이 파일은이 행을 처리하는 맵퍼가 실행해야하는 호스트 이름을 제공합니다.특정 hadoop 슬레이브에서 파일의 행을 처리하는 방법은 무엇입니까?

어떻게해야합니까?

매퍼가 DB에서 데이터를 읽고 DB 서버와 동일한 컴퓨터에서 매퍼를 실행하려면이 작업이 필요합니다.

Hadoop 코드 기반 내에서 사용자 고유의 구현을 작성하지 않으면 불가능합니다.

지도 입력에 데이터를 추가하려는 경우 작업에 인수로 전달하면지도()에 입력 한 다음 입력과 연결할 수 있습니다.

2010-12-31 00:47:35

특정 노드에 대한 각 맵을 예약하려고합니다. –

입력 파일의 각 행을 특정 호스트에 넣을 수있는 무언가조차도 Hadoop이 입력 행과 동일한 호스트에서 맵을 실행할 수 있도록 도와줍니다. –

Hadoop 코드 기반에서 직접 구현을 작성하지 않으면 불가능합니다. –

답변