0
안녕하세요,이 명령은 hadoop 클러스터의 끝 노드 중 하나에서 실행 중입니다. hdfs에서 일부 원격 시스템으로 데이터를 복사하려고합니다. 로컬 컴퓨터에서 제한된 디스크 할당량 때문에 로컬로 저장할 수 없습니다. 실행하고 싶습니다 hdfs dfs -get /data/abc remotemac/abchdfs에서 원격 시스템으로 복사
A
답변
0
직접 할 수는 없지만 Hoop 및 WebHDFS REST API를 살펴볼 수 있습니다. 후프는 HTTP/HTTPS를 통한 HDFS 읽기 및 쓰기에 대한 액세스를 제공합니다.
Hortonworks에는 WebHDFS HTTP rest access to HDFS에 관한 블로그가 있습니다.
sshj을 사용하는 다른 해결책이 있습니다. 하는 SSH v2의 순수 자바 구현 당신은 SSHD 서버에 연결하고 다음과 같은 기준에서 세부 정보보기 등의 포트 포워딩, 파일 전송을 사용할 수있게된다
참조 : https://blog.layer4.fr/2013/04/09/transfert-files-from-hadoop-to-a-remote-server-via-ssh/
관련 문제
- 1. 내용이있는 디렉토리를 HDFS에서 로컬 파일 시스템으로 복사
- 2. JAFS를 사용하여 HDFS에서 로컬 파일 시스템으로 파일 복사
- 3. 파일을 HDFS에서 로컬 컴퓨터로 복사
- 4. 원격 HDFS에서 파일 읽기
- 5. 원격 HDFS에서 파일 읽기
- 6. Hadoop에서 로컬 시스템으로 복사
- 7. 원격 서버에서 sqlserver의 로컬 시스템으로 DB 테이블 복사
- 8. staf를 사용하여 Linux에서 원격 Windows 시스템으로 파일 복사
- 9. 복사, 붙여 넣기가 내 로컬 시스템에서 원격 시스템으로 작동 중
- 10. Windows에서 Ubuntu 서브 시스템으로 파일 복사
- 11. s3 : //에서 로컬 파일 시스템으로 파일 복사
- 12. URL에서 웹 서버 파일 시스템으로 이미지 복사
- 13. mongodb 데이터를 원격 시스템으로 내보내는 방법
- 14. 로컬 컴퓨터의 쉘 스크립트에서 원격 시스템으로 실행
- 15. 원격 (openshift)에서 로컬 시스템으로 파일/폴더를 다운로드하는 방법
- 16. HDFS에서 파일 전송
- 17. VSTS에서 SSH 연결을 설정하여 bitbucket에서 원격 컴퓨터로 파일을 원격 복사
- 18. 원격 서버에서 파일 복사
- 19. 원격 WMI 복사 폴더
- 20. 원격 데스크톱에서 복사
- 21. 일괄 원격 복사
- 22. 원격 컴퓨터에 파일 복사
- 23. 원격 컴퓨터에서 복사 작업
- 24. 원격 URL에서 값 복사
- 25. hdfs에서 순차 코드 실행
- 26. s3distcp 단일 명령으로 HDFS에서 S3으로 파일 및 디렉토리 복사
- 27. 작업을 시스템으로 실행 하시겠습니까?
- 28. 로컬 데이터베이스에서 원격 데이터베이스로 데이터 복사
- 29. 하나의 시스템에서 다른 시스템으로 하나의 SAP 클라이언트 복사/이동
당신이 얘기하는 원격 시스템인가 약, 또 다른 하o 클러스터? 그렇다면'distcp'를 사용할 수 있습니다. – daemon12
해당 hadoop 클러스터가 아닙니다. 그것의 원격 독립형 리눅스 머신 –