MySQL 큰 테이블에서 중복 행을 어떻게 삭제합니까?

Question

비효율적 인 쿼리를 실행하면 매우 큰 테이블 (이 테이블의 10 억 개가 넘는 행)에서 중복 된 행을 삭제하는 가장 효과적인 방법을 알 필요가 있습니다.이 작업을 수행하는 데 매우 효율적인 방법을 알 필요가 있습니다. . 내가 검색 테이블의 모든 중복 URL을 삭제해야

,

즉

DELETE FROM search WHERE (url) NOT IN 
(
SELECT url FROM 
(
SELECT url FROM search GROUP BY url 
) X 
); 

Answer 1

은 인덱스에 전적으로 의존한다. 다음 두 단계로 수행하십시오. (1) 기본 키 또는 시간 소인 필드와 같은 URL을 가진 레코드를 구별 할 수있는 다른 필드와 결합 된 URL 필드에서 DBMS가 지원하는 최고 선택도 인덱스를 작성하십시오. (2) 한 번에 레코드와 커밋이 이러한 작은 배치를 초래하는 경우 작은 분수를 처리하기위한 절차 코드 (단순한 쿼리가 아닌)를 작성하십시오. PK mod 1000 또는 .TLD 부분 앞에있는 URL의 3 자로 슬라이스.

DB 프로세스가 메모리 부족, 로그 파일 공간 부족 등의 문제를 일으키지 않는 한 예측 가능한 결과를 얻을 수있는 최선의 방법입니다.

Answer 2

DELETE from search 
where id not in (
    select min(id) from search 
    group by url 
    having count(*)=1 

    union 

    SELECT min(id) FROM search 
    group by url 
    having count(*) > 1 
)