Hadoop mapreduce python 커맨드 라인 인수

Question

파이썬 매퍼 코드에서, 'path'에 주어진 'path'에 접근 할 필요가 있습니다. 이것을 파이썬 코드로 어떻게 접근 할 수 있습니까?

Answer 1

os.environ에서 입력 파일을 읽을 수 있습니다. 예를 들어,

import os 
input_file = os.environ['map_input_file'] 

사실, 당신은 또한 os.environ에서 다른 JobConf를 읽을 수 있습니다. 참고 : 스트리밍 작업을 실행하는 동안 "mapred"매개 변수의 이름이 변환됩니다. 점 (.)은 밑줄 (_)로 표시됩니다. 예를 들어 mapred.job.id는 mapred_job_id가되고 mapred.jar는 mapred_jar가됩니다. 스트리밍 작업의 매퍼/감속기에서 값을 얻으려면 매개 변수 이름을 밑줄과 함께 사용하십시오. Configured Parameters을 참조하십시오.

나는 또한 매우 유용한 게시물을 찾으실 수 있습니다 : A Guide to Python Frameworks for Hadoop.