키/값 쌍 목록을 HDFStore에 저장된 팬더 데이터 프레임으로 변환

Question

이와 비슷한 질문이 있지만 내 데이터 프레임이 HDFStore 내부에있는 경우를 처리하지 못합니다.

타임 스탬프/키/값 항목의 목록을 데이터 프레임으로 변환하고 타임 스탬프에 각각 인덱싱 된 여러 데이터 프레임으로 저장 한 다음 HDFStore에 저장해야합니다.

예제 코드 :이 코드를 실행

from pandas import HDFStore 
from pandas import DataFrame 
store = HDFStore('xxx', driver="H5FD_CORE") 
for i, k, v in ((0, 'x', 5), (1, 'y', 6)): 
    if k not in store: 
     store[k] = DataFrame() 
    store[k].set_value(i, 'value', v) 

후, store['x']는 비어 있습니다.

>>> store['x'] 
Empty DataFrame 
Columns: [] 
Index: [] 

그래서 분명히 그 지속되지 않는 이유 몇 가지 이유가있다, 또한 확실히 난 그냥이 물건이 작동하도록되어 방법을 모르는 경우입니다. HDFStore 내부에서 테이블/데이터 프레임에 추가하는 방법을 이해하면 논리를 분명히 이해할 수 있습니다.

데이터 프레임을 메모리에 보관하고 사전에 저장 한 다음 끝에 HDFStore에 할당 할 수도 있습니다. 나는 어떻게 든이 방법으로 그렇게하면 메모리를 절약 할 수 있다는 잘못된 생각이 들었습니다. 아마도 나는 그것에 대해서 틀렸을 것입니다.

Answer 1

몇 가지 설명을 듣고 싶지만 아직 담당자가 없습니다. 컨텍스트가 없으면 접근 방법이 현명한 지 여부를 말하기는 어렵지만 거의 모든 경우에서 아니오라고 말하고자합니다. 반복 가능 객체의 목록

• 을 감안할 때 : 내가 틀렸다,하지만 당신이하려는 것은 경우에 저를 수정 당신은 HDFStore, 두 안양의를 원할 것 [(timeA, key1, value1), (timeB, key1, value2), (timeC, key2, value1)]
• 여기서
  • store[key1] = DataFrame([value1, value2], index=[timeA, timeB])
  • store[key2] = DataFrame([value1], index=[timeC])

올바른? 그렇다면

은 제가 추천하는 것은 상점 키의 "필터링", dataframes를 생성 한 다음, 가게에 전체 dataframe을 쓰기 때문에 같은 몇 가지 종류 :

dataTuples = [(0, 'x', 5), (1, 'y', 6), ...] 

# initializing the dict of lists, which will become a dict of df's 
sortedByStoreKey = {storeKey: [] for idx, storeKey, val in dataTuples} 

for idx, storeKey, val in dataTuples: 
    sortedByStoreKey[storeKey].append([idx, storeKey]) # appending a 2-list to a list 

# this can all be done with dict comprehensions but this is more legible imo 
for storeKey, dfContents in sortedByStoreKey.items(): 
    df = pd.DataFrame(dfContents, columns=['time', 'value']) 
    df['time'] = pd.to_datetime(df['time']) # make sure this is read as a pd.DatetimeIndex (as you said you wanted) 
    df.set_index('time', inplace=True) 
    sortedByStoreKey[storeKey] = df 

# now we write full dataframes to HDFStore 
with pd.HDFStore('xxx') as store: 
    for storeKey, df in sortedByStoreKey.values(): 
     store[storeKey] = df 

난 아주 라인을 현명하게하고 자원을 현명하게 처리 할 수있는보다 효율적인 방법이 있다고 확신하지만, 이것이 나를 가장 파이썬으로 생각합니다. dataTuples 개체가 거대한 (> = RAM 등) 경우 내 대답이 변경 될 수 있습니다.

일반적으로 저장소에 쓰기 전에 각 데이터 프레임을 전체적으로 만드는 것이 좋습니다. 내가 여기서 끝내고 있기 때문에, 내가 선택한 것을 할 수 있다는 것을 깨달았습니다. 누락 된 부분은 추가를 가능하게하는 table format으로 상점을 지정해야한다는 것입니다. 한 번에 한 행을 추가하는 것은 좋은 생각이 아닙니다.