중복없이 파일에서 삽입하는 방법

Question

csv 파일에 일부 데이터가 있으며이를 MySQL 테이블에 삽입하려고합니다. 내 질문은 중복 값이 ​​테이블에 삽입되지 않도록하는 방법입니다. 다음 참조 http://dev.mysql.com/doc/refman/5.1/en/load-data.html을보고 키워드 IGNORE이 있지만 고유 값만 삽입하는 방법을 볼 수는 없습니다.

Answer 1

하나 이상의 열을 사용하여 테이블에 고유 인덱스를 추가 :

CREATE TABLE `test` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT, 
`start` VARCHAR(10) DEFAULT NULL, 
`end` VARCHAR(10) DEFAULT NULL, 
PRIMARY KEY (`id`), 
UNIQUE KEY `start` (`start`,`end`) 
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8; 

중복 색인 오류로 인해 오류가 발생한 행을 건너 뛰려면 무시를 사용합니다.

INSERT IGNORE into test (id, start, end) values (1,'test','test'); 

사용 부하 :

LOAD DATA INFILE 'file_name' IGNORE INTO TABLE test; 

Answer 2

삽입 할 테이블에 고유성 제약 조건 또는 고유 인덱스를 추가하십시오.

Answer 3

고유 인덱스를 추가하고 사용하는 당신이 언급 한 무시 :

ALTER가 표 myTable UNIQUE idxName (myFieldA, myFieldB, myFieldC)를 추가;

또는 명령 행에서 csv 파일을 필터링 :

종류 -u in.csv> out.csv