그룹 by mysql 옵션

Question

이전 시스템에서 새 시스템으로 데이터를 전송할 변환기를 작성 중입니다. 나는 PHP + mysql을 사용하고있다.

중복 항목이있는 수백만 개의 레코드가있는 테이블이 하나 있습니다. 그 데이터를 새 테이블로 전송하고 모든 항목을 제거하고 싶습니다. 나는 하나 개의 테이블 :(

나는 그것을 숙고하고 처리하는 것이 나이 걸리는이 작업

select * 
from table1 
insert into table2 
ON DUPLICATE KEY UPDATE customer_information = concat('$firstName',',','$lastName') 

을 수행하기 위해 다음과 같은 쿼리와 의사 코드를 사용하고 그것으로 그룹을 사용하여 자동으로 모든 그룹화 기록을 얻을 수 있습니다? 예를 들어 각 레코드 통과하는 등 중복 체크를 제외

?

select * 
from table1 
group by firstName, lastName 
insert into table 2 only one record and add all users' 
first last name into column ALL_NAMES with comma 

EDIT

정보가 다른 고객마다 다른 기록이 있습니다. 사용자의 이름과 성이 동일하면 각 행을 복제라고합니다. 새 테이블에서는 한 고객과 구매 한 제품을 다른 열에 추가합니다 (우리는 4 개의 제품 만 보유).

Answer 1

난 당신이하려고하는 모르겠어요 customer_information을 사용하면되지만 중복되지 않는 데이터 세트를 한 테이블에서 다른 테이블로 전송하려는 경우 작동합니다.

INSERT IGNORE INTO table2(field1, field2, ... fieldx) 
    SELECT DISTINCT field1, field2, ... fieldx 
    FROM table1; 

DISTINCT은 개의 중복 행을 처리합니다. 그러나 행이 부분 중복 (동일한 성 및 이름이지만 다른 이메일과 같음) 인 경우 IGNORE을 사용하면 도움이됩니다. table2 (lastname, firstname)에 고유 색인을 넣으면 IGNORE는 lastnameX, table1의 firstnameY이있는 첫 번째 레코드 만 삽입되도록합니다. 물론 부분 복제 쌍 중 어떤 레코드가 선택되는지는 마음에 들지 않을 수 있습니다.

ETA 이제 질문을 업데이트했는지

은, 당신이 하나 개의 필드에 여러 행의 값을 넣을 것으로 보인다. 일반적으로 말하자면, 은입니다. 왜냐하면이 방법으로 데이터를 비정규 화하면 훨씬 쉽게 액세스 할 수 없기 때문입니다. 또한 (성, 이름)별로 그룹화하면 이름에 이름이 없습니다. 이 때문에 내 예제에서는 allemails를 대신 사용합니다. 어떤 경우 에든이 작업을 수행해야하는 경우 방법은 다음과 같습니다.

INSERT INTO table2(lastname, firstname, allemails) 
    SELECT lastname, firstname, GROUP_CONCAT(email) as allemails 
    FROM table1 
    GROUP BY lastname, firstname; 

Answer 2

그들은 정말 중복 행이있는 경우에 당신이 사용할 수있는 (모든 필드는 동일) :

select DISTINCT * from table1 

대신 :

select * from table1