하이브 메타 스토어에 업로드 한 약 330 만 행의 대형 csv 파일을 가지고 있으며 테이블을 만들었습니다. 나는 그것을 테이블에서하이브 CSV 가져 오기 제한
쿼리를
SELECT COUNT (*)를 실행할 때
그러나, 그것은 약 170 만 행을 보여줍니다.
나는
선택 * 테이블에서
쿼리를 실행하고 CSV로 결과를 다운로드 한 파일은 만 약 170 만 행이 있습니다.
하이브로 가져 와서 테이블을 만들 수있는 CSV 파일의 크기 제한이 있습니까?
모든 도움말을 크게 높이 셨습니다.
, 당신은 많은 조건 발생할 수 있습니다 말을하는 시나리오가 :
1) 당신이없는 파일에 많은 레코드가.
2. 일부 행이 줄로 구분되어 있지 않습니다. 즉, 행이 병합됨에 따라 레코드가 병합됩니다. 그만큼 기록이 줄어들고 있습니다.
희망이 있습니다 ... !!!
안녕하세요. Mukesh, 저에게 다시 연락해 주셔서 감사합니다. 이 문제를 해결하기 위해 필자는 150 만개의 작은 행 청크를 업로드하고 테이블을 만들고이를 쿼리로 결합한 다음 쿼리 결과에서 테이블을 만들었습니다. 쿼리 결과에서 생성 된 최종 테이블의 행 수는 정확합니다. 나는 SQL 서버와 notepad ++에서 파일을 열었습니다. 각각의 경우에 정확한 행 수를 보여줍니다. 무슨 일있어? – user3476463
하이브 테이블을 어떻게 만듭니 까? 그것은 하이브 명령 줄 인터페이스 또는 HUE를 통해인가? HUE를 사용하여 Hive Metastore에서 데이터를 가져 오거나 내보내는 데있어 몇 가지 제한 사항을 보았습니다. 또한 JobHistory 또는 모든 로그 파일에서 작업을 보려고 했습니까? – Ray