여러 CSV 파일에서 여러 항목 구문 분석

Question

누군가 Powershell 스크립트의 속도를 높이는 데 도움이 될 수 있기를 바랍니다. 내가하고있는 일은 수백 개의 CSV 파일을 읽고 정보를 분석하여 누락 된 항목에 대한 데이터를 얻은 다음 해당 출력을 HTML 파일에 쓰는 것입니다. 여기에 내가 파일을 처리하기 위해 사용하고있는 루프입니다 : 내가 몇 CSV 파일을 테스트 할 때

ForEach ($Filename in $FileList) { 
    $CustTemp = import-csv "$FilePath\$Filename" 
    $CustName = $CustTemp[0].CustName 
    Write-Host "Reading data for $CustName"`r 
    For ($counter=0;$counter -lt 31;$counter++){ 
     $CheckDate = (get-date).AddDays(-$counter) 
     $CheckShortDate = $CheckDate.ToShortDateString() 
     $TempData = import-csv "$FilePath\$Filename" | Select FileName,FileDate | where {$_.FileDate -eq $CheckShortDate} 
     If ($TempData -eq $null) { 
      $row = "No file found for $CheckShortDate for $CustName" 
      $HTMLReportItems += $row 
     } 
    $HTMLReportItems = $HTMLReportItems | ConvertTo-Html -Fragment 
    } 
} 

이 루프가 잘 작동하지만 많은 수의 파일 (300 +)에 대해 그것을 실행할 때 루프입니다 각 파일 (30 ~ 1m)을 완료하는 데 오랜 시간이 걸립니다. 이유는 CSV 파일이 반복 당 30 번 액세스되는 이유입니다. 내가 바라는 것은 누군가가 데이터를 어떻게 처리 할 수 ​​있는지에 대해 더 나은 제안을 할 수 있다는 것입니다.

Answer 1

당신은 을 여러 번 읽습니다. for 루프 외부에서 읽고 내부 필터링 만 수행하십시오. 루프 외부에서도 HTML 생성을 이동하십시오.

$HTMLReportItems = foreach ($Filename in $FileList) { 
    $csv = Import-Csv (Join-Path $FilePath $Filename) 
    $CustName = $csv[0].CustName 
    $data = $csv | select FileName,FileDate 

    Write-Host "Reading data for $CustName" 

    for ($counter=0;$counter -lt 31;$counter++){ 
    $CheckShortDate = (Get-Date).AddDays(-$counter).ToShortDateString() 
    $TempData = $data | ? {$_.FileDate -eq $CheckShortDate} 
    if ($TempData -eq $null) { 
     "No file found for $CheckShortDate for $CustName" 
    } 
    } 
} 

$HTMLReportItems = $HTMLReportItems | ConvertTo-Html -Fragment