필드를 기반으로 한 데이터 샘플링

Question

타임 스탬프 필드를 기반으로 데이터를 샘플링하고 싶습니다. 나는 엄청난 양의 데이터 파일을 읽으며, 하루에 백만 건이 넘는 레코드를 가지고있다. 매월 여러 파일이 있습니다.

는 지금은이 데이터를 읽을 수 있지만, 상점, 5 % 또는 10 % MySQL 데이터베이스로, 말한다. 각 데이터 파일의 레코드 수에 대한 사전 지식이 없습니다.

내가 파일에 대한 전체 읽기 데이터의 5 %를 샘플링 할 수있는 방법이 있습니까? 이런 종류의 문제에 대한 표준 통계적 접근법이 있습니까? 아래의 의견에 따라

편집 :이 샘플링 생각하기 전에

는, 나는 두 필드의 키 기반의 파티션과 인덱스를 생성했다 : ID와 날짜를. id 필드는 clientId와 더 비슷합니다. 파티셔닝을하더라도 1 천 5 백만 행의 2 개 필드로 이루어진 그룹은 30-60 분의 범위에서 범죄 시간이 길어질 수 있습니다. 또한 필드별로 그룹 중 하나에 추가 색인을 만들었습니다.

이 보여줄 것입니다 나의 설명 :

SIMPLE 방문 어디에 사용 3ColumnerIndex, 2ColumnIndex 2ColumnIndex (302) const를 7493642을 심판을; filesort 사용

innodb에 4GB의 버퍼 크기를 부여한 후에이 성능을 얻었습니다!

Answer 1

당신은이 작업을 수행하려면 레코드 수의 추정이 필요 당신은

SELECT name, email FROM users WHERE name LIKE 'a%' LIMIT 10; 

같은 제한을 사용할 수 있지만, 나는 또한 도움이 될이 링크를 발견 하지만 당신은 당신이이 문제가되지 않습니다 필요가 얼마나 많은 샘플의 엄격한 요구 사항이없는 경우 :

을
1. k 샘플을 n 레코드 중에서 선택한다고 가정합니다. 당신이 충분한 기록이 될 때까지 각 레코드에 대해
2. 하거나 : 미만 k/n, 출력 현재 레코드의 경우
   1. 는 0과 1
   2. 사이의 임의의 숫자를 생성합니다. k := k-1 및 n := n-1을 입력하십시오. 그렇지
   3. , 기록을 폐기하고 n := n-1을 넣어.

각 레코드 은 확률 k/n를 가진 출력에 나타난다. 예 : 두 번째 레코드가 나타날 확률은 다음과 같습니다.

(k/n)*(k-1)/(n-1) + ((n-k)/n)*k/(n-1) = (k-1+n-k)*k/(n*(n-1)) = k/n 

Answer 2

당신을 더 구체적으로

http://www.gloomy.eu/mysql-desired-percentage-of-rows/