Magento 데이터 흐름이 CSV 파일을로드하는 데 너무 오래 걸립니다.

Question

업데이트 할 인벤토리 데이터가 포함 된 큰 CSV 파일 (35,000 개가 넘는 행)이 있습니다. Mage_Catalog_Model_Convert_Adapter_Productimport를 확장하여 인벤토리 업데이트를 수행하는 메소드를 만들었습니다. 그런 다음 고급 프로파일을 사용하여 해당 메소드를 호출하는 업데이트를 수행했습니다.

프로필을 수동으로 실행할 때 매우 효과적입니다. 문제는 cronjob에서 실행중인 프로필을 처리하는 확장 프로그램을 사용하면 시스템이 CSV 파일을로드하고 구문 분석하는 데 너무 오래 걸립니다. 오전 6시 15 분에 매일 실행되도록 cronjob을 설정했지만 파일의 첫 번째 행은 같은 날 오후 1시 20 분까지 처리되지 않으며 파일을로드하는 데 7 시간이 소요됩니다.

이렇게하면 프로세스가 중간에서 멈춰 버리고 1/3 미만의 레코드가 처리됩니다. 나는 왜 문제를 풀려고 노력하는지, 좌절감을 느꼈다. 그러나 운은 없다.

모든 아이디어를 얻을 수 있습니다.

Answer 1

Varien_File_Csv는 CSV 파일을 구문 분석하는 클래스입니다. 너무 많은 메모리가 필요합니다.

기능 ('I 메모리 하늘에 가까운 로그인 할 때마다 메시지와 함께'), 메모리 양이 사용 피크 메모리 사용량

public function log($msg, $level = null) 
{ 
if (is_null($level)) $level = Zend_Log::INFO; 

$units = array('b', 'Kb', 'Mb', 'Gb', 'Tb', 'Pb'); 
$m = memory_get_usage(); 
$mem = @round($m/pow(1024, ($i = floor(log($m, 1024)))), 2).' '.$units[$i]; 
$mp = memory_get_peak_usage(); 
$memp = @round($mp/pow(1024, ($ip = floor(log($mp, 1024)))), 2).' '.$units[$ip]; 

$msg = sprintf('(mem %4.2f %s, %4.2f %s) ', $mem, $units[$i], $memp, $units[$ip]).$msg; 

Mage::log($msg, $level, 'my_log.log', 1); 
} 

$ MyClass-> 로그를 기록하는;

CSV (동일한 파일 이름 사용)를 분리하고 작업을 여러 번 호출 할 수 있습니다. 이전 통화가 새 통화와 같은 시간에 실행되지 않도록해야합니다.

감사합니다.