PHP 배열의 메모리 최적화

Question

높이 배열 인 1024x1024 크기의 배열로 작업하고 있는데 메모리 제한이 있습니다. 내 테스트 머신에서 내가 원한다면 1GB로 mem 한계를 늘릴 수 있지만, 단지 256 램을 가진 나의 작은 VPS에서는 옵션이 아닙니다.

저는 스택과 구글을 검색해 보았습니다. "메모리 효율, 도랑 및 C++로 다시 작성하기 때문에 PHP를 사용하지 않고 있습니다."라고 솔직히 말해서, 저는 PHP가 메모리를 좋아한다는 것을 알고 있습니다.

그러나 PHP 메모리 관리를 더 많이 조사 할 때 모든 데이터 유형을 소비하는 메모리를 찾지 못했습니다. 또는 다른 유형의 데이터로 변환하면 mem 소비가 줄어 듭니다.

"최적화"기술은 변수와 배열을 설정 해제 한 것뿐입니다.

일부 PHP 파서를 사용하여 코드를 C++로 변환하면 문제가 해결됩니까?

감사합니다.

Answer 1

실제 인덱싱 된 배열을 원하면 SplFixedArray을 사용하십시오. 더 적은 메모리를 사용합니다. 또한 PHP 5.3에는 더 나은 가비지 수집기가 있습니다.

그 외에도 PHP는보다 신중하게 작성된 C/C++ 코드보다 많은 메모리를 사용합니다.

메모리 사용량 1024 × 1024의 정수 어레이 :

• 표준 배열 : 218,756,848
• SplFixedArray : 92,914,208

memory_get_peak_usage()

$array = new SplFixedArray(1024 * 1024); // array(); 
for ($i = 0; $i < 1024 * 1024; ++$i) 
    $array[$i] = 0; 

echo memory_get_peak_usage(); 

참고로 측정 한 것과 같은 배열 64 비트 정수를 사용하는 C는 8M이됩니다.

다른 사람들이 제안했듯이 데이터를 문자열로 묶을 수 있습니다. 이 속도는 더 느리지 만 훨씬 더 많은 메모리가 효율적입니다. 8 개 비트 값을 사용하는 경우가 매우 쉽다 :

$x = str_repeat(chr(0), 1024*1024); 
$x[$i] = chr($v & 0xff); // store value $v into $x[$i] 
$v = ord($x[$i]);  // get value $v from $x[$i] 

여기서 메모리에만 1.5MB 관한 것이다 (다만,이 정수 문자열 배열 PHP의 전체 오버 헤드를 고려할 때).

재미있게하기 위해 1024x1024 8 비트 정수를 만든 다음이를 한 번 반복하는 간단한 벤치 마크를 만들었습니다. 팩 버전은 모두 ArrayAccess을 사용하여 사용자 코드가 동일하게 보입니다.

    mem write read 
array    218M 0.589s 0.176s 
packed array  32.7M 1.85s 1.13s 
packed spl array 13.8M 1.91s 1.18s 
packed string  1.72M 1.11s 1.08s 

포장 된 배열 (서명 된 데이터를 처리 방지하기 위해 7 바이트 포장) 기본 64 비트 정수를 사용하여 압축 문자열은 ord 및 chr을 사용했다. 분명히 구현 세부 사항과 컴퓨터 사양은 약간의 것들에 영향을 미치지 만 비슷한 결과를 기대합니다.

배열이 6 배 빨라지면서 다음 최상의 대안으로 125x 메모리를 사용했습니다. 당신이 기억이 부족하다면 분명히 속도는 무의미하다. (ArrayAccess 클래스없이 직접 팩 문자열을 사용한 경우 기본 배열보다 3 배 느렸다.)

간단히 요약하자면, 속도가 걱정된다면이 데이터를 처리하기 위해 순수 PHP 이외의 것을 사용할 것입니다.

Answer 2

의견에 허용되는 답변과 제안 외에도 PHP Judy array implementation을 제안하고자합니다.

빠른 테스트 결과 흥미로운 결과가 나타났습니다. 일반적인 PHP 배열 데이터 구조를 사용하는 1 백만 개의 항목을 가진 배열은 ~ 200 MB를 필요로합니다. SplFixedArray는 약 90 메가 바이트를 사용합니다. Judy는 8 메가를 사용합니다. 절충안은 성능면에서, Judy는 정규 php 배열 구현 시간의 두 배 정도 걸립니다.