Pandas Dataframe 개체 유형

Question

큰 데이터 프레임, 1 백만 개의 행과 9 개의 열과 몇 개의 열에 데이터가 누락 된 일부 행이 있습니다.

dat = pd.read_table('file path', delimiter = ';') 

I  z  Sp S  B  B/T  r  gf  k 
0  0.0303 2 0.606 0.31  0.04 0.23  0.03 0.38 
1  0.0779 2    0.00  0.00 0.05  0.01 0.00 

숫자 값이있는 경우에도 처음 몇 개의 열이 문자열로 읽혀지고 마지막 몇 개는 NaN으로 읽혀집니다. dtype = 'float64'를 포함 시키면 얻을 수 있습니다.

ValueError: could not convert string to float: 

이 문제를 해결하는 데 도움이 되셨습니까?

Answer 1

당신은 정규식에 의해 replace을 사용할 수 있습니다 - 하나 whitespacesNaN 더 후 read_table에 NaN로 변환 데이터 float

빈 문자열로 캐스팅.

df = df.replace({'\s+':np.nan}, regex=True).astype(float) 
print (df) 
    I  z Sp  S  B B/T  r gf  k 
0 0.0 0.0303 2.0 0.606 0.31 0.04 0.23 0.03 0.38 
1 1.0 0.0779 2.0 NaN 0.00 0.00 0.05 0.01 0.00 

데이터 apply 함께 사용 가능한 to_numeric이다 NaN로 대체 될 필요가 어떤 문자열이 포함 된 경우 :

df = df.apply(lambda x: pd.to_numeric(x, errors='coerce')) 
print (df) 
    I  z Sp  S  B B/T  r gf  k 
0 0 0.0303 2 0.606 0.31 0.04 0.23 0.03 0.38 
1 1 0.0779 2 NaN 0.00 0.00 0.05 0.01 0.00