55 ig - 쉼표로 구분 된 파일 - mysql DB로 읽기

이 파일을 여는 방법에 대한 아이디어가 있으십니까?55 ig - 쉼표로 구분 된 파일 - mysql DB로 읽기

이 파일의 크기에는 제한이 없습니다.

의 일반 텍스트 데이터

내가 헤어질 수없는 이유는 원격으로 저장되고 내가 할 수있는 유일한 것은 도와주세요

그것을 SQL 문을 실행하기 때문에 파일입니다!

Windows 또는 Linux? – Matt

창문을 보시길 바랍니다 –

Windows의 경우 "크기가 큰 파일을 여는"thegun이라는 정말 오래된 응용 프로그램이 있습니다. linux/mac에서는/head/tail이 적고 "dd"를 사용할 수도 있습니다.

2010-06-03 20:53:45 Tobias

파일을 여는 데 사용할 수있는 프로토콜은 무엇입니까?

55G 파일이 너무 좋지 않다고해서 다운로드하여 로컬에서 처리 할 수 있습니까?

분명히 데이터 제공 업체가 더 작은 파일을 만들면 더 좋을 것입니다. 매우 큰 파일은 다루기가 어렵습니다.

rsync (가능한 경우)를 사용하면 전송에 실패하면 다시 시작할 수 있으므로 (원격 사이트에서 온 경우 2 시간 정도 걸립니다) 제안 할 수 있습니다.

이러한 파일은 얼마나 자주 생성됩니까? 델타를 만들기 위해 파티를 생성 할 수 있습니까? 그것은 아마도 데이터를 처리하는 더 좋은 방법 일 것입니다 (매번 데이터가 완전히 새로운 것은 아님).

2010-06-03 22:13:12 MarkR

파일에 델타가 전혀 없습니다 –

LOAD DATA INFILE을 찾고 계십니까?

2010-06-03 22:23:23 nos

LOAD DATA INFILE이 파일의 크기를 처리 할 수 있는지 알고 계십니까? – Michael

운영 체제가 큰 파일을 처리 할 수있는 한. – nos

일단 파일을 다운로드하면 더 관리하기 쉬운 청크로 분할하는 것이 좋습니다.

부여하면 파일 수가 많아 질 수 있습니다. 물론 파일 중간에 파일을 분할 할 위험이 있습니다.하지만이 옵션이 좋습니다.

빠른 검색은 단계별 지침과 함께 다음 링크 here을 생성했습니다. 링크는 내 눈을 사로 잡은 대용량 파일 (> 4GB) 분할을 지원한다고 언급했습니다.

2010-06-04 04:16:05

답변