데이터 집합을 반복하고 누락 된 값을 처리합니다.

Question

큰 데이터 파일을 반복하면서 각 열의 변수 유형을 감지하는 경우 예를 들어 인튜어너 또는 플로트 등일 경우 완벽하게 작동하지만 , 지금은 여전히 ​​아주 기본적인 것이고 또 다른 아이디어를 추가하고 싶습니다. 변수의 선언은 데이터 세트의 두 번째 행을 기반으로합니다. 는 (. 첫번째는 헤더로서 사용된다) 여기서 코드의 시작 :

#!/usr/bin/perl 

use warnings; 
use diagnostics; 
use Getopt::Std; 

getopts("i:s:t:") or die "bad options: $!"; 

if($opt_i) { 
open INFILE, "< $opt_i"; 
chomp($headerline = <INFILE>); 
$second = <INFILE>; 
} else { 
die "the input file has to be given\n"; 
} 

if($opt_t) { 
$tablename = $opt_t; 
} else { 
$tablename = $opt_i; 
$tablename =~ s/\.\w+//; 
} 

if($opt_s) { 
$sep = $opt_s; 
} else { 
$sep = ","; 
} 

$headerline =~ s/\"//g; 
$headerline =~ s/\./\_/g; 
@header = split/$sep/, $headerline; 

$second =~ s/\"//g ; 
@second = split/$sep/, $second; 
@terms = split/$sep/, $second; 
@types = split/$sep/, $second; 

지금은 작은 루프를 구현 하였다. 문제는 NULL로 선언 된 누락 된 값을 처리하는 방법을 모르겠다는 것입니다. 현재 루프는 변수 "$vartype[$j]"에 단순히 ""즉 아무 것도 지정하지 않습니다. 나는 하나 개의 컬럼에 NULL 값을 가질 때마다 그 숫자 또는를 찾을 때까지 루프가 같은 열에서 다음 값을 읽고 그렇게되도록 내가 기존 루프에 다른 루프 구조를 구현할 수있는 방법을 그래서

$j = 0; 
while($j <= $#second) { 
if ($types[$j] =~ /NULL/) { 
$vartype[$j] = ""; 
} elsif($types[$j] =~ /[A-Za-z]/) { 
$vartype[$j] = "varchar"; 
} elsif ($types[$j] =~ /\./) { 
$vartype[$j] = "double"; 
} else { 
$vartype[$j] = "int"; 
} 
$j++; 
} 

워드.

내 데이터의 샘플은 예를 들면 다음과 같습니다

Country.Name  Time.Name AG.LND.AGRI.ZS NY.GDP.MKTP.CD NE.IMP.GNFS.ZS 
Brunei Darussalam 1960  NULL    1139121335.16 3.46 
Brunei Darussalam 1960  NULL    1677595756.64 0.9 
Brunei Darussalam 1960  NULL    1488339328.59 4.19 
Brunei Darussalam 1961  3.98    1869828587.8  3.14 
Brunei Darussalam 1961  3.98    2346769422.22 3.38 
Brunei Darussalam 1961  3.98    2363109706.3  3.17 

은 이미 루프에 대한 언급만을 변수의 유형을 결정하는 두 번째 행을 사용합니다.

이제 예를 들어 세 번째 열 (AG.LND.AGRI.ZS)에서 그는 첫 번째 실제 값 (이 경우 3.98)을 감지 할 때까지 열을 통과하도록 다른 루프를 구현하고 싶습니다. 현재 루프는 NULL로 표시된 누락 된 값을 인식하고 빈 값을 할당합니다. C.

for my $variable (@types) { 
    if ($variable =~ /NULL/) { 
    push(@vartype, undef); 
    } 
    elsif ($variable =~ /[A-Za-z]/) { 
    push(@vartype, "varchar"); 
    } 
    elsif ($variable =~ /\./) { 
    push(@vartype, "double"; 
    } 
    else { 
    push(@vartype, "int"); 
    } 
} 

같은

Answer 1

나는 당신이 무엇을하려하는지 알아내는 데 어려움을 겪고 있습니다. 열의 내용을 기반으로 열 유형을 추측하려고한다고 가정 할 때 여기에이를 수행하는 방법이 있습니다. 중요한 것은 필드가 NULL 인 경우 아무 것도 설정하지 말고 유형을 이미 결정한 경우 필드를 건너 뛰고 모든 필드 유형이 결정되면 루프에서 빠져 나가는 것입니다.

#!/usr/bin/perl 

use strict; use warnings; 
use Scalar::Util qw(looks_like_number); 

my @names = split ' ', scalar <DATA>; 
my @types; 

while (<DATA>) { 
    chomp; 
    my @values = split/{2,}/; 

    for my $i (0 .. $#values) { 
     next if defined $types[$i]; 
     my $val = $values[$i]; 
     next if $val eq 'NULL'; 
     if ($val =~ /^[0-9]+\z/) { 
      $types[$i] = 'int'; 
     } 
     elsif ($val =~ /^[0-9.]+\z/ 
       and looks_like_number($val)) { 
      $types[$i] = 'double'; 
     } 
     else { 
      $types[$i] = 'varchar'; 
     } 
    } 
    last unless grep { not defined } @types; 
} 

print "$_\n" for @types; 


__DATA__ 
Country.Name  Time.Name AG.LND.AGRI.ZS NY.GDP.MKTP.CD NE.IMP.GNFS.ZS 
Brunei Darussalam 1960  NULL    1139121335.16 3.46 
Brunei Darussalam 1960  NULL    1677595756.64 0.9 
Brunei Darussalam 1960  NULL    1488339328.59 4.19 
Brunei Darussalam 1961  3.98    1869828587.8  3.14 
Brunei Darussalam 1961  3.98    2346769422.22 3.38 
Brunei Darussalam 1961  3.98    2363109706.3  3.17 

출력 :

varchar 
int 
double 
double 
double

Answer 2

정지 프로그래밍,하지만 펄을 위해, 당신은 정말 해시의 자료 구조에 관련 데이터를 저장해야합니다. 다음과 같이하십시오 :

my $data = [ { value => 'NULL', type => undef }, 
      { value => 'a string', type => 'varchar' }, 
      { value => 9.5, type => 'double'}, 
      { value => 30, type => 'int'}, 
      ];