DataFrame에 열을 추가하는 과정에서 데이터가 복사됩니까?

Question

제 질문은 성능에만 관한 내용이지 의미에 관한 내용은 아닙니다.

df에 새 열을 추가하면 기존 DataFrame의 데이터가 새로운 메모리 위치로 물리적으로 복사됩니다 (예 : DataFrame이 인접 메모리를 차지하도록)?

# using pandas 0.18.1, python 3.5 
import pandas as pd 
df = pd.DataFrame({'a': range(100)}) 
b = pd.Series(range(100)) 
df['b'] = b # is this operation expensive? 
# equivalently df.loc[:, 'b'] = b 

나는 df['b'] = b는 의미 분명히 기본 데이터의 복사를 요구 b의 사본을 만들 것이다 (실험에서, 문서에서 찾을 수 없었다) 알고있다. 그러나 다른 열의 데이터가 원래 위치에 머물러 있는지 또는 때때로 이동해야하는지 잘 모릅니다.

편집 :

나는 열이 많은 수를 추가하는 expensive 것을 알고있다. 하나의 열을 추가하는 것에 대해서만 묻고 있습니다.

또한 행을 추가하려면 단일 열의 항목이 인접한 메모리에 있어야한다는 분명한 이유 때문에 일부 경우에 데이터를 복사해야합니다 (또는 항상 확실하지는 않습니다).

Answer 1

나는 loc이 slowier는 나의 실험에서 생각하고 다른 인덱스 slowiest 새로운 Series 정렬 :

그러나 다른 컬럼의 데이터가 어디에 유지, 또는 필요 수 있을지 몰라 때로는 움직일 수 있습니다.

데이터가 이동되지 않고 새로운 열이 끝에 추가됩니다 (어쩌면 예외가있을 수 있지만 그것에 대해 알 수는 없습니다).

# using pandas 0.18.1, python 3.5 
import pandas as pd 
#len(df) = 10m 
df = pd.DataFrame({'a': range(10000000)}) 
b = pd.Series(range(10000000)) 
c = pd.Series(range(10000000), index=df.index) 
df['b'] = b 
df.loc[:, 'c'] = b 
df['d'] = c 
df.loc[:, 'e'] = c 
print (df) 

In [36]: %timeit df['b'] = b 
10 loops, best of 3: 23.5 ms per loop 

In [37]: %timeit df.loc[:, 'c'] = b 
The slowest run took 5.76 times longer than the fastest. This could mean that an intermediate result is being cached. 
1 loop, best of 3: 40 ms per loop 

In [38]: %timeit df['d'] = c 
10 loops, best of 3: 22.3 ms per loop 

In [39]: %timeit df.loc[:, 'e'] = c 
10 loops, best of 3: 39.5 ms per loop 

그러나 index 변경하는 경우 : 새 행을 추가하는 경우

# using pandas 0.18.1, python 3.5 
import pandas as pd 
df = pd.DataFrame({'a': range(10000000)}) 
df.index = df.index + 15 
b = pd.Series(range(10000000)) 
c = pd.Series(range(10000000), index=df.index) 
df['b'] = b 
df.loc[:, 'c'] = b 
df['d'] = c 
df.loc[:, 'e'] = c 
print (df) 

In [41]: %timeit df['b'] = b 
1 loop, best of 3: 656 ms per loop 

In [42]: %timeit df.loc[:, 'c'] = b 
1 loop, best of 3: 735 ms per loop 

In [43]: %timeit df['d'] = c 
10 loops, best of 3: 22.4 ms per loop 

In [44]: %timeit df.loc[:, 'e'] = c 
10 loops, best of 3: 56.6 ms per loop 

, 그것은 빠르고, 내 생각은 Series의 길이 따라 달라

In [68]: %timeit df.loc[10000015, :] = pd.Series([1,2,3,2,4], index=df.columns) 
1000 loops, best of 3: 274 µs per loop 

그러나 경우에하는 것은 많은 행을 추가, 그것은 비싸고 이것이 피할 수 있다고 생각합니다.