지난 2-3 주 동안 flume을 연구했습니다. 나는 해결할 방법을 알지 못하는 새로운 상황에 직면했다.Flume : 오류는 발생하지 않지만 flume은 파일을 완전히 전송하지 못합니다.
흐름 : 기본 흐름을 사용하여, SPOOLDIR ->되는 FileChannel ->을의 .conf 파일에 설정
없음 추가 매개 변수를 HDFS하지
내가 전달하기 위해 노력하고있어파일 크기 : 1.4GB
상황 : 에이전트가 잘 시작되고 파일 전송이 시작되고 소스 파일의 이름이 .COMPLETED로 바뀌고 전체 파일이 HDFS로 전송되지 않고 오류/예외가 발생하지 않습니다. 나는 동일한 adhoc을 여러 번 실행했다. 1.4 기가 중 169 메가 바이트 만 전송되었다. 이상하게 보입니다!
제안 사항? 어떤 해결책? 어떤 가설?
얼마나 오래 기다리셨습니까? 시간이 있으면 뭔가를 볼 수 있습니다.
손상된 fileChannel이있을 수 있으며이를 정리하는 데 시간이 필요합니다.
어떤 버전의 Flume, btw?
cdh4 flume-ng를 사용 중입니다. 잠시 기다렸지 만, 파일 전송을 보지 못했습니다. 다시 교차 검사하십시오. 기본적으로 볼 때 배치 크기와 채널 용량을 일부 조정했을 때 기본값 이외의 다른 값은이 문제에 직면했으며, 파일이 잘 전달 된 기본값이 있습니다. 우리가 사용 조정 된 매개 변수 값과 같다 : spool_source_batchsize = 1000000 hdfs_sinks_batchsize = 500 내가 잘못 가고 1000 avro_sinks_batchsize = 500 channel_capacity? – Kasa
파일에 데이터를 추가하고 잠시 기다려보십시오. 로그에서 흥미로운 것이 있습니까?
또한 HDFS에 충분한 공간이 있는지 확인하십시오.
근본적으로 우리가 볼 때 배치 크기와 채널 용량을 기본값 이외의 다른 값으로 조정했을 때 파일이 잘 전송되는 기본 값으로이 문제가 발생했습니다. 우리가 사용 조정 된 매개 변수 값과 같다 : spool_source_batchsize = 1000000 hdfs_sinks_batchsize = 500 내가 잘못 가고 1000 avro_sinks_batchsize = 500 channel_capacity? – Kasa
설정을 표시 할 수 있습니까? – Dmitry
우리는 다음과 같은 흐름을 사용하고 있습니다 : spoolDir-> AvroSinks (2) -> AvroSource (2) -> HDFSSink (2)의 conf의 비 기본 매개 변수 : Tier1 : spool_source_batchsize = 1000 avro_sinks_batchsize = 500 channel_capacity = 1,000,000 Tier2 : HDFS_sinks_batchsize = 500 channel_capacity = 1000000이 확실히 내가 용 에이전트를 구성 배치 사이즈/용량 문제 . 배치 크기 접근법에서 내가 잘못 가고있는 부분을 안내해 줄 수 있습니까? 감사! – Kasa