팬더 : 그룹 인덱스를 사용하여 배열 만들기

Question

그룹 번호가있는 배열을 만드는 효율적인 팬 패널 방식을 찾고 있습니다 (원래 데이터 프레임의 모든 행에 대해이 행이 어느 그룹에 속해 있는지 알려주는 숫자가 필요함).) :

In : df 
Out]: 
    a b 
0 1 1 
1 1 2 
2 1 1 
3 2 1 
4 2 2 
5 2 1  

In : groups.indices 
Out: 
{(1, 1): array([0, 2]), 
(1, 2): array([1]), 
(2, 1): array([3, 5]), 
(2, 2): array([4])} 

In : group_indices 
Out: array([0, 1, 0, 2, 3, 2]) 

내 문제가 df 주위 20000x100 (64 비트 수레이다)과 열 두 가지로 I 그룹의 경우, 내가 6기가바이트 위의 메모리 사용량을 얻을 수 있다는 것입니다

df = pandas.DataFrame({'a': [1, 1, 1, 2, 2, 2], 'b': [1, 2, 1, 1, 2, 1]}) 
groups = df.groupby(['a', 'b']) 
group_names = sorted(groups.groups.keys()) 
group_indices = np.array(df.index) 
for index, group in enumerate(group_names): 
    group_indices[groups.indices[group]] = index 

. 어느 쪽이 더 기대되는 것보다 길이다.

Answer 1

부호를 각각 이미 이들과 같은

In [52]: groups.grouper.levels 
Out[52]: [Int64Index([1, 2], dtype=int64), Int64Index([1, 2], dtype=int64)] 

In [53]: groups.grouper.labels 
Out[53]: [array([0, 0, 0, 1, 1, 1]), array([0, 1, 0, 0, 1, 0])] 

In [57]: l = groups.grouper.labels 

In [58]: zip(*l) 
Out[58]: [(0, 0), (0, 1), (0, 0), (1, 0), (1, 1), (1, 0)] 

In [18]: groups.grouper.group_info 
Out[18]: (array([0, 1, 0, 2, 3, 2]), array([0, 1, 2, 3]), 4) 

간단한 조회 작업이 이미 그룹화 개체 이것은 또한 매우 잘 작동

In [19]: groups.grouper.group_info[0] 
Out[19]: array([0, 1, 0, 2, 3, 2])