팬더에 필수 열 제한을 적용하십시오.

Question

큰 열의 CSV를 특정 제약 조건이 입력되지 않았으므로 초기의 누락 된 추가 제약 조건으로 읽으려고합니다. 모두은 필수 열뿐 아니라 데이터 프레임에 포함될 열을 필요로합니다. pandas.read_csv에서 읽을 열의 하위 집합을 지정하려면 usecols 인수를 사용할 수있는 것 같습니다. 그러나 읽을 열의 데이터 프레임에 어떤 열이 있는지 확인할 수있는 유일한 확실한 방법은 다음과 같습니다. 실제로 파일을 읽습니다.

import pandas as pd 
from io import StringIO 

class MissingColumnsError(ValueError): 
    pass 

def cols_enforced_reader(*args, cols_must_exist=None, **kwargs): 
    if cols_must_exist is not None: 
     # Read the first line of the DataFrame and check the columns 
     new_kwargs = kwargs.copy() 
     new_kwargs['iterator'] = True 
     new_kwargs['chunksize'] = 1 

     if len(args): 
      filepath_or_buffer = args[0] 
      args = args[1:] 
     else: 
      filepath_or_buffer = new_kwargs.get('filepath_or_buffer', None) 

     df_iterator = pd.read_csv(filepath_or_buffer, *args, **new_kwargs) 

     c = next(df_iterator) 
     if not all(col in c.columns for col in cols_must_exist): 
      raise MissingColumnsError('Some required columns were missing!') 

     seek = getattr(filepath_or_buffer, 'seek', None) 
     if seek is not None: 
      if filepath_or_buffer.seekable(): 
       filepath_or_buffer.seek(0) 

    return pd.read_csv(filepath_or_buffer, *args, **kwargs) 

in_csv = """col1,col2,col3\n0,1,2\n3,4,5\n6,7,8""" 

# Should succeed 
df = cols_enforced_reader(StringIO(in_csv), cols_must_exist=['col1']) 
print('First call succeeded as expected.') 

# Should fail 
try: 
    df = cols_enforced_reader(StringIO(in_csv), cols_must_exist=['col7']) 
except MissingColumnsError: 
    print('Second call failed as expected.') 

이 : 나는 반복자로 dataframe을 읽는 작업 첫 번째 패스 버전을 만들었

후 정상적인 인수를 사용하여 파일을 읽고, 열이 있는지 확인, 첫 번째 줄을 얻는다 나에게 약간 지저분한 느낌이 들며 filepath_or_buffer (검색 할 수없는 스트림, 예를 들어 0에서 시작하지 않아야하는 버퍼)의 가능한 모든 입력을 실제로 처리하지 못합니다. 분명히 내가 여기있는 특정 유스 케이스에 맞게 조정할 수 있지만이 작업을 수행하는 더 우아한 방법이 있는지 궁금합니다. 일반 .

Answer 1

하나의 행을 읽고 필요한 모든 열이 그 위에 있는지 테스트 할 수 있습니까? 예를 들어 :

import pandas as pd 

required_cols = ['col1', 'col2'] 
cols = pd.read_csv('input.csv', nrows=1).columns 

if all(req in cols for req in required_cols): 
    print pd.read_csv('input.csv') 
else: 
    print "Columns missing" 

---

는 스트림을 통해이 작업을 수행하려면 다른 방법이 csv.reader()를 통해 그것을 읽는 것,이 itertools.tee()와 호환됩니다

import pandas as pd 
from itertools import tee 
import csv 

required_cols = ['col1', 'col2'] 

with open('input.csv') as f_input: 
    csv_input = csv.reader(f_input) 
    csv_stream1, csv_stream2 = tee(csv_input, 2) 
    header = next(csv_stream1) 

    if all(req in header for req in required_cols): 
     df = pd.DataFrame(list(csv_stream2)[1:], columns=header) 
     print(df) 
    else: 
     print("Columns missing")