0
매시간 내 서버에서 일반적으로 250 ~ 300MB의 파일이 하나 생성됩니다. 이 파일을 다운로드하고 hadoop에 저장하려고합니다. 누군가 아이디어가 있다면 회신 해주십시오.서버에 저장된 파일을 다운로드하여 hadoop에 저장하는 방법
매시간 내 서버에서 일반적으로 250 ~ 300MB의 파일이 하나 생성됩니다. 이 파일을 다운로드하고 hadoop에 저장하려고합니다. 누군가 아이디어가 있다면 회신 해주십시오.서버에 저장된 파일을 다운로드하여 hadoop에 저장하는 방법
Apache Hadoop은 강력하고 유용한 명령 행을 제공합니다. 다음을보십시오 : Hadoop FileSystem Shell.
특히, copyFromLocal
및 put
명령입니다. 일반적인 셸 명령을 사용하면 원하는 경우 Hadoop 명령 줄과 SSH를 결합 할 수 있습니다.
cron을 사용자 환경 (Windows 용 작업 스케줄러)에서 사용할 수 있으면 명령을 cron 작업에 넣으십시오. 그러면 hadoop 명령이 필요한 시간 간격으로 실행됩니다. –