hadoop에서 소스 데이터 파일 백업

주간 단위로 AVRO로 변환하는 XML 형식의 데이터 파일 (Excels, delimited formats)이 100 개가 필요합니다. 소스 파일의 백업을 HDFS가 아닌 폴더 파일 시스템이나 HDFS가 아닌 로컬 파일 시스템의 원본 형식으로 유지하는 것이 좋습니다.hadoop에서 소스 데이터 파일 백업

파일의 출처는 FTP입니다.

출처

2014-01-21 raunakjhawar

변환 프로세스가 성공하면 HDFS가 AVRO 파일을 호스팅하므로 사용자의 필요에 따라 복제 요소를 설정한다고 가정하면 백업이 처리됩니다. 이 시점에서 소스 파일을 HDFS에 보존하는 것은 불필요합니다. 이 시점에서 최적의 테이프 백업이 될 수 있습니다.

출처

2014-01-21 21:35:19

HDFS에 백업을 저장할 때 발생할 수있는 문제점은 무엇입니까? 스토리지 비용은 저렴하고 쉽게 액세스 할 수 있습니다 ... 아마도 파일을 압축하여 HDFS 내의 위치에 저장하십시오. – raunakjhawar

일부 회사는 엄청난 양의 데이터 유입이 있고 x 년까지 백업을해야합니다. 메모리가 싼 경우에도 백업 저장소 메커니즘으로 HDFS를 사용하는 것이 좋습니다. –

그러나 로컬 파일 시스템을 사용하여 데이터 백업을 저장할 수 있습니까? HDFS는보다 안정적입니다. – raunakjhawar

hadoop에서 소스 데이터 파일 백업

답변

관련 문제