1
텍스트 파일을 다른 텍스트 파일로 변환해야한다면 mapper/reducer를 어떻게 설계해야합니까? 첫 번째 행에 쉼표가 -map/reduce에서 ETL을 수행하는 방법
- 파일은 일반적으로 다음과 같이 구성되어 있습니다 : 아래의 세부 사항은 나는 간단한지도/작은 변화를 한 프로그램을 감소 쓴하지만 요구 사항은 좀 더 정교 열 이름의 분리 된 목록. 초 및 나머지 행은 열에 대해 값을 지정합니다.
- 일부 행에서는 후행 열 값이 누락 될 수 있습니다. 예 : 15 열이 있으면 처음 10 열만 값이 지정 될 수 있습니다.
- 변환하고 하나의 파일로 집계해야하는 약 5 개의 입력 파일이 있습니다. 변환은 5 개의 입력 파일마다 고유합니다.
- mapper/reducer 프로그램에 파일 이름과 같은 문맥 정보를 어떻게 전달합니까?
- 변환은 열에 한정되므로 첫 번째 행에서 언급 한 열을 기억한 다음 행에서 값을 상호 연관시키고 변환하는 방법은 무엇입니까?
관련 답변을 얻으려면 자세한 내용을 제공해야합니다. 텍스트 파일을 다른 텍스트 파일로 변환하면 거의 대부분의 맵이 그곳에서 축소됩니다. –