mysql에서 제한된 메모리로 큰 결과 집합을 처리하기

Question

나는 1500 명의 사람들을위한 실험 결과를 담고있는 큰 데이터베이스를 가지고있다. 각 개인은 96 개의 데이터 포인트를 가지고 있습니다. 분석 소프트웨어에서 사용할 수 있도록 데이터를 요약하고 형식을 지정하기 위해 다음 스크립트를 작성했습니다. 처음에는 500 명이 넘을 때까지 모두 좋았습니다. 이제 나는 기억이 부족하다.

누군가가 속도를 희생하지 않고 메모리 제한 문제를 극복하기위한 제안을 갖고 있는지 궁금합니다.

이 데이터베이스의 테이블 모습

fishId assayId 그래서이 데이터베이스에 대한 호출입니다

14_1_1 2 AA

$mysql = new PDO('mysql:host=localhost; dbname=aquatech_DB', $db_user, $db_pass); 
$query = $mysql->prepare("SELECT genotyped.fishid, genotyped.assayid, genotyped.allele1, genotyped.allele2, fishId.sex, " . 
"fishId.role FROM `fishId` INNER JOIN genotyped ON genotyped.fishid=fishId.catId WHERE fishId.projectid=:project"); 
$query->bindParam(':project', $project, PDO::PARAM_INT); 
$query->execute(); 

AT allele2

14_1_1 1 allele1하는 방법입니다 . 필요한 파일을 만들기 위해 두 테이블의 정보를 결합합니다.

if(!$query){ 
    $error = $query->errorInfo(); 
    print_r($error); 
} else { 
    $data = array(); 
    $rows = array(); 
    if($results = $query->fetchAll()){ 
     foreach($results as $row) 
     { 
      $rows[] = $row[0]; 
      $role[$row[0]] = $row[5]; 
      $data[$row[0]][$row[1]]['alelleY'] = $row[2]; 
      $data[$row[0]][$row[1]]['alelleX'] = $row[3]; 
     } 
     $rows = array_unique($rows); 
     foreach($rows as $ids) 
     { 
      $col2 = $role[$ids]; 
      $alelleX = $alelleY = $content = ""; 
      foreach($snp as $loci) 
      { 
       $alelleY = convertAllele($data[$ids][$loci]['alelleY']); 
       $alelleX = convertAllele($data[$ids][$loci]['alelleX']); 
       $content .= "$alelleY\t$alelleX\t"; 
      } 
      $body .= "$ids\t$col2\t" . substr($content, 0, -1) . "\n"; 

이 데이터를 구문 분석합니다. 내가 필요로하는 파일에는 개인 당 96 행보다 개인 당 하나의 행이 있어야하는데, 그 이유는 데이터를 형식화해야하기 때문입니다. 스크립트가 끝나면 $ body를 파일에 씁니다.

나는) (2

14_1_1 ATAA

$location = "results/" . "$filename" . "_result.txt"; 
$fh = fopen("$location", 'w') or die ("Could not create destination file"); 
if(fwrite($fh, $body)) 

Answer 1

대신 fetchAll의 변수로 데이터베이스 쿼리에서 전체 결과를 읽는

FishId 분석 한 분석으로 출력 파일이 필요합니다 행별로 행을 가져옵니다.

while($row = $query->fetch()) { ... } 

Answer 2

1. fetchAll()은 한 번에 전체 결과를 가져 오는데, 이는 그 용도가 있지만 메모리가있어 욕심입니다. 한 번에 한 행을 처리하는 fetch()을 사용하지 않는 이유는 무엇입니까?

2. 첫 번째 열을 기준으로 행을 인덱싱하고 다른 큰 배열을 만든 다음 중복 항목을 제거하는 것처럼 보입니다. 쿼리에 SELECT DISTINCT을 사용하여 중복되기 전에 PHP를 사용하지 않는 이유는 무엇입니까? fetch()이 fetchAll()보다 속도가 느려질 수 있습니다 - -

나는 충격이 속도에 어떻게 될지 모르겠어요하지만 당신은 몇 가지 처리를 저장하는 배열에서 중복을 제거 할 필요가 없습니다.

두 번째 foreach이 무엇을하는지 잘 모르겠지만 한 번에 모두이 작업을 수행 할 수 있어야합니다. 나는. fetch 루프 내의 루프는 foreach입니다. 위의 코드에

다른 관찰 :

이

• $role 배열 $rows와 같은 색인 작업을 할 것 같다 - 키가 효과적으로 단일 패스에서 중복 제거로 $row[0]를 사용.SELECT DISTINCT에 의해 복제물을 제거하는 것이 더 좋을 수도 있지만 그렇지 않다면 $rows 배열과 array_unique 함수가 필요합니까?
• 동일한 값인 $row[0]의 값이 $row[5] 인 경우 색인 생성 방법으로 데이터가 삭제되지만 데이터에있는 내용을 알고 있으므로 이미 생각한 것 같습니다 ($data 배열)