Logstash를 사용하여 CSV에서 Elasticsearch로 데이터를로드 할 수 없습니다.

Logstash 2.3.3을 사용하여 CSV 파일에서 Elasticsearch 2.3.3으로 데이터를로드합니다. 여기 Logstash를 사용하여 CSV에서 Elasticsearch로 데이터를로드 할 수 없습니다.

내 Logstash 구성 파일입니다

input { 
    #stdin { 
    # type => "stdin-type" 
    #} 

    file { 
    path => "/Users/hieupm/export.txt" 
    start_position => "beginning" 
    codec => plain { 
     charset => "CP1252" 
    } 
    } 
} 

filter { 
    mutate { 
    gsub => [ 
     "message", "\"", " ", 
     "message", " +", " ", 
     "message", " ;", ";", 
     "message", "; ", ";" 
    ] 
    lowercase => ["message"] 
    } 
    csv { 
    columns => ["siren","raison_sociale","enseigne","cp_ville","naf","nature_juridique","code_tranche"] 
    separator => "," 
    } 
} 

output { 
    #stdout { 
    #} 

    elasticsearch { 
    hosts => "127.0.0.1:9200" 
    index => "ereputation" 
    document_id => "%{siren}" 
    } 
}

실행 로그 (터미널)에서 오류를 포기하지 않았다 그러나 그것은 단지 다음과 같이 표시

Settings: Default pipeline workers: 8 
Pipeline main started

내 샘플 데이터를 완료하지 :

siren,raison_sociale,enseigne,cp_ville,naf,nature_juridique,code_tranche 
5420021,ETABLISSEMENTS BIQUEZ,,80100 ABBEVILLE,4669B,5710,11 
5420120,STE DES SUCRERIES DU MARQUENTERRE,,62140 MARCONNELLE,1081Z,5599,11 
5480082,STE BRETONNE DE TRAVAUX PUBLICS,,44600 ST NAZAIRE,4312A,5599,21 
5480546,SOCIETE DE DISTRIBUTION DE PAPIER,,44350 GUERANDE,1712Z,5710,21 
5520176,CARTONNAGE HERNAS,,80210 FEUQUIERES EN VIMEU,1721A,5710,21 
5520242,PROSPA,,80510 LONGPRE LES CORPS SAINTS,2030Z,5710,12 
5520325,ETABLISSEMENTS ADRIEN RIQUIER,,80570 DARGNIES,4674B,5710,12 
5540380,SNC COMTE ET CIE,PHARMACIE COMTE,04000 DIGNE LES BAINS,4773Z,5202,11 
5541552,ETABLISSEMENTS BONNET FRERES,,04370 BEAUVEZER,5610C,5499,03

의견을 보내 주셔서 감사합니다.

출처

2016-06-29 minh-hieu.pham

질문을 포함하십시오. 정확히 무엇이 잘못 될까요? –

여하튼 elasticsearch에 아무것도 들어 있지 않습니까? –

주석 처리 된'stdout' 출력을 사용하여 ES를 사용하지 않고 디버깅하는 것이 더 쉽습니다. 이것은 파싱 문제 일 가능성이 큽니다. – pickypg

난 당신이 당신이
내가이 정확한 문제에 대한 ESL을 썼다 elasticsearch_loader 사용할 수 있습니다 elasticsearch로 CSV 데이터를로드하려면 elasticsearch_loader
의 저자 해요

당신은 핍로 다운로드 할 수 있습니다

pip install elasticsearch-loader

그리고 당신은 실행하여 elasticsearch로 CSV/JSON/마루 파일을로드 할 수 있습니다 :

elasticsearch_loader --index ereputation --type incident csv input1.csv input2.csv

을

출처

2016-10-07 14:07:50 MosheZada

고마워, 모듈이 내 경우에 잘 작동 함 :) –

@ minh-hieu.pham 그런 다음 대답을 수락하지 않는 이유는 무엇입니까? – desertnaut

Logstash를 사용하여 CSV에서 Elasticsearch로 데이터를로드 할 수 없습니다.

답변

관련 문제