파이썬 팬더 : 벡터화 된 시계열 윈도우 함수 나는 다음과 같은 형식의 팬더 dataframe이

Question

: 내가 쓴

'customer_id','transaction_dt','product','price','units' 
1,2004-01-02,thing1,25,47 
1,2004-01-17,thing2,150,8 
2,2004-01-29,thing2,150,25 
3,2017-07-15,thing3,55,17 
3,2016-05-12,thing3,55,47 
4,2012-02-23,thing2,150,22 
4,2009-10-10,thing1,25,12 
4,2014-04-04,thing2,150,2 
5,2008-07-09,thing2,150,43 

을 30 일 개 창을 나타내는 두 개의 새로운 필드를 만들려면 다음

import numpy as np 
import pandas as pd 

start_date_period = pd.period_range('2004-01-01', '12-31-2017', freq='30D') 
end_date_period = pd.period_range('2004-01-30', '12-31-2017', freq='30D') 

def find_window_start_date(x): 
    window_start_date_idx = np.argmax(x < start_date_period.end_time) 
    return start_date_period[window_start_date_idx] 

df['window_start_dt'] = df['transaction_dt'].apply(find_window_start_date) 

def find_window_end_date(x): 
    window_end_date_idx = np.argmin(x > end_date_period.start_time) 
    return end_date_period[window_end_date_idx] 

df['window_end_dt'] = df['transaction_dt'].apply(find_window_end_date) 

을 불행히도 이것은 응용 프로그램에 행렬 방식으로 적용하는 것은 너무 느립니다. 가능한 경우 이러한 기능을 벡터 라이 제이션하는 데 대한 모든 정보를 매우 감사하겠습니다.

편집 :

'customer_id','transaction_dt','product','price','units','window_start_dt','window_end_dt' 

그것은 다시 샘플링하거나 형식적인 의미에서, 윈도우를 할 필요가 없습니다 : 결과의 dataframe이 레이아웃을 가지고 있어야

. 'window_start_dt'및 'window_end_dt'열을 추가하면됩니다. 현재 코드가 작동하면 가능한 경우 벡터화해야합니다.

Answer 1

편집 2 : pandas.cut가 내장되어 있습니다 :

tt=[[1,'2004-01-02',0.1,25,47], 
[1,'2004-01-17',0.2,150,8], 
[2,'2004-01-29',0.2,150,25], 
[3,'2017-07-15',0.3,55,17], 
[3,'2016-05-12',0.3,55,47], 
[4,'2012-02-23',0.2,150,22], 
[4,'2009-10-10',0.1,25,12], 
[4,'2014-04-04',0.2,150,2], 
[5,'2008-07-09',0.2,150,43]] 



start_date_period = pd.date_range('2004-01-01', '12-01-2017', freq='MS') 
end_date_period = pd.date_range('2004-01-30', '12-31-2017', freq='M') 

df = pd.DataFrame(tt,columns=['customer_id','transaction_dt','product','price','units']) 
df['transaction_dt'] = pd.Series([pd.to_datetime(sub_t[1],format='%Y-%m-%d') for sub_t in tt]) 

the_cut = pd.cut(df['transaction_dt'],bins=start_date_period,right=True,labels=False,include_lowest=True) 

df['win_start_test'] = pd.Series([start_date_period[int(x)] if not np.isnan(x) else 0 for x in the_cut]) 
df['win_end_test'] = pd.Series([end_date_period[int(x)] if not np.isnan(x) else 0 for x in the_cut]) 

print(df.head()) 

win_start_test 및 win_end_test 그들의 대응과 동일 함수를 사용하여 계산한다.

ValueError은 해당 라인의 x에서 int으로 전송되지 않았습니다. 또한이 장난감 예제에는 필요하지 않지만 NaN 수표를 추가했습니다.

주 pd.date_range의 변화와 및 월말 플래그 시작 개월의 M 및 MS의 사용뿐만 아니라 datetime에 날짜 문자열 변환.