hadoop 순차 파일을 읽는 방법은 무엇입니까?

Question

나는 hadoop map-reduce 작업의 결과물 인 순차 파일을 가지고있다. 이 파일에서 데이터는 키 값 쌍으로 기록되며 값 자체는 맵입니다. MAP 개체로 값을 읽고 더 처리 할 수 ​​있도록하고 싶습니다. 프로그램

Configuration config = new Configuration(); 
    Path path = new Path("D:\\OSP\\sample_data\\data\\part-00000"); 
    SequenceFile.Reader reader = new SequenceFile.Reader(FileSystem.get(config), path, config); 
    WritableComparable key = (WritableComparable) reader.getKeyClass().newInstance(); 
    Writable value = (Writable) reader.getValueClass().newInstance(); 
    long position = reader.getPosition(); 

    while(reader.next(key,value)) 
    { 
      System.out.println("Key is: "+textKey +" value is: "+val+"\n"); 
    } 

출력 : 키는이 [이 열쇠] 값은 {ABC = 839,177, XYZ = 548,498, LMN = 2, PQR = 1} 문자열 여기

내가 얻고 값 ,하지만 나는 그것을지도의 대상으로 원한다.

Answer 1

확인 SequenceFile#next(Writable, Writable)

while(reader.next(key,value)) 
{ 
     System.out.println("Key is: "+textKey +" value is: "+val+"\n"); 
} 

에 대한 API 문서는 SequenceFile의 값 유형을 얻을 수

while(reader.next(key,value)) 
{ 
     System.out.println("Key is: "+key +" value is: "+value+"\n"); 
} 

사용 SequenceFile.Reader#getValueClassName로 교체해야합니다. SequenceFile에는 파일 헤더에 키/값 유형이 있습니다.