다른 매개 변수로 두 번 파일 읽기

Question

동일한 경로로 두 번 addinputpath 함수를 입력하면 매번 동일한 파일의 두 매퍼를 생성 할 수 있지만 파일을 매번 약간 다르게 처리하고 싶습니다.

특히 Job 클래스 (configuration.set/get 사용)를 통과 한 여러 매개 변수를 사용하고 싶습니다. 파일이 다르면 컨텍스트/inputsplit 클래스를 사용하여 파일의 경로/이름을 얻습니다.하지만 이제는 그 파일을 구별 할 수 없습니다. 이견있는 사람?

각 매퍼는 다른 maptask이지만 maptasks와 관련된 정보를 사용할 수 있는지는 알 수 없습니다. 또한 프레임 워크가 maptask에 inputsplits와 일치하는 순서를 알지 못합니다. 유용 할 수 있습니다.

또는 I 파일 (다른 이름을 사용)을 복제 할 수 있지만 그게 내가 당신의 매퍼에이 논리를 넣어 당신을 추천 할 것입니다 자원

Answer 1

필자는 inputsplit 및 inputformat 클래스 (편의상 fileinputformat 및 filesplit)를 덮어 써야했습니다.

분할을 읽는 시간을 구분하기 위해 filesplit에 추가 필드를 추가했습니다. 작동 중입니다

Answer 2

의 낭비 일 것이다. Hadoop이 동일한 파일을 두 번 스캔하고 처리하는 것보다 효율적입니다.

그래서 의사 코드가 그렇게 될 것이다 :

map(key, value, context) { 

    //do something with this key/value 
    ... 
    //emit output 1 
    context.write(...) 

    //do something else with this the same key/value 
    ... 
    //emit output 2 
    context.write(...) 
} 

당신이 당신의 출력 1과 2는 다른 감속기에 파견해야 할 경우, 당신은 그렇게 당신의 출력 키를 정교하게해야합니다.