큰 파일의 crc32 찾는 법?

Question

PHP의 crc32 지원 문자열은 input.And로, 파일의 경우 아래 코드는 OFC를 사용합니다.

crc32(file_get_contents("myfile.CSV")); 

파일이 커지면 (2GB) 메모리 부족이 발생할 수 있습니다. 치명적인 오류입니다.

거대한 파일의 체크섬을 찾는 방법은 무엇입니까? 를 계산하기

사용자 공헌 노트에

$hash = hash_file('crc32b',"myfile.CSV"); 

Answer 1

This functioncrc32()에 대한 주장 :

Answer 2

PHP 2 기가 바이트 (32 비트 제한)

그리고 파일의 CRC32를 계산하는보다 효율적인 방법보다 더 큰 파일을 지원하지 않습니다 값을 전체 파일을로드하지 않고. 제대로 작동하면 메모리 문제가 없어야합니다.

2GB보다 큰 파일의 경우 지금 당장 발생하는 32 비트 제한으로 중단 될 가능성이 있습니다.

가능한 경우 파일 크기가 가장 큰 파일의 체크섬을 계산할 수있는 외부 도구를 호출합니다.

Answer 3

dev-null-dweller 님의 답변은 갈 길입니다.

• 그것은 지금 정확히 hash_file()
보다 동일한 결과를 제공합니다

그러나 hash_file('crc32b', $filename);의 메모리 효율적인 PHP4의 백 포트를 찾고있는 사람들을 위해, 여기에 몇 가지 개선과 this PHP manual comment 기반으로하는 솔루션이며,

• 32 비트 & 64 비트 아키텍처를 지원합니다.

경고 : 개는 추합니다. 개선하려고 노력 중입니다.

참고 : 저는 zaf의 주석에서 C 소스 코드를 기반으로 한 솔루션을 시도했지만 PHP로 이식하기에 충분히 신속하게 성공하지 못했습니다.

if (!function_exists('hash_file')) 
{ 
    define('CRC_BUFFER_SIZE', 8192); 

    function hash_file($algo, $filename, $rawOutput = false) 
    { 
     $mask32bit = 0xffffffff; 

     if ($algo !== 'crc32b') 
     { 
      trigger_error("Unsupported hashing algorightm '".$algo."'", E_USER_ERROR); 
      exit; 
     } 

     $fp = fopen($filename, 'rb'); 

     if ($fp === false) 
     { 
      trigger_error("Could not open file '".$filename."' for reading.", E_USER_ERROR); 
      exit; 
     } 

     static $CRC32Table, $Reflect8Table; 
     if (!isset($CRC32Table)) 
     { 
      $Polynomial = 0x04c11db7; 
      $topBit = 1 << 31; 

      for($i = 0; $i < 256; $i++) 
      { 
       $remainder = $i << 24; 
       for ($j = 0; $j < 8; $j++) 
       { 
        if ($remainder & $topBit) 
         $remainder = ($remainder << 1)^$Polynomial; 
        else 
         $remainder = $remainder << 1; 

        $remainder &= $mask32bit; 
       } 

       $CRC32Table[$i] = $remainder; 

       if (isset($Reflect8Table[$i])) 
        continue; 
       $str = str_pad(decbin($i), 8, '0', STR_PAD_LEFT); 
       $num = bindec(strrev($str)); 
       $Reflect8Table[$i] = $num; 
       $Reflect8Table[$num] = $i; 
      } 
     } 

     $remainder = 0xffffffff; 
     while (!feof($fp)) 
     { 
      $data = fread($fp, CRC_BUFFER_SIZE); 
      $len = strlen($data); 
      for ($i = 0; $i < $len; $i++) 
      { 
       $byte = $Reflect8Table[ord($data[$i])]; 
       $index = (($remainder >> 24) & 0xff)^$byte; 
       $crc = $CRC32Table[$index]; 
       $remainder = (($remainder << 8)^$crc) & $mask32bit; 
      } 
     } 

     $str = decbin($remainder); 
     $str = str_pad($str, 32, '0', STR_PAD_LEFT); 
     $remainder = bindec(strrev($str)); 
     $result = $remainder^0xffffffff; 
     return $rawOutput ? strrev(pack('V', $result)) : dechex($result); 
    } 
}