파이썬 DASK - 2 DataFrames 파이썬에서

Question

I가 다음 DASK DataFrame의 수직 연결 : 나는 수직으로 2 DASK의 DataFrames 연결하는 시도하고

  A   B  C  D  E  F 
0   1   4  8  1  3  5 
1   6   6  2  2  0  0 
2   9   4  5  0  6  35 
3   0   1  7  10  9  4 
4   0   7  2  6  1  2 

:

ddf_i = ddf + 11.5 
dd.concat([ddf,ddf_i],axis=0) 

을하지만이 오류가 발생합니다 : 그러나

Traceback (most recent call last): 
     ... 
     File "...", line 572, in concat 
     raise ValueError('All inputs have known divisions which cannot ' 
    ValueError: All inputs have known divisions which cannot be concatenated in order. Specify interleave_partitions=True to ignore order 

, 내가하려고하면 :

dd.concat([ddf,ddf_i],axis=0,interleave_partitions=True) 

그러면 작동하는 것 같습니다. 이 값을 True (성능면에서)으로 설정하는 데 문제가 있습니까? 아니면 Dask DataFrames를 수직으로 연결하는 또 다른 방법이 있습니까?

Answer 1

데이터 프레임 ddf.divisions의 구분을 검사하면 인덱스의 가장자리가 (1, 4) 인 파티션이 하나 있다고 가정합니다. 이것은 필요한 인덱스 값을 포함하지 않는 파티션을 사용하지 않고 데이터를 조작 할 때를 알고 있으므로 dask를 지정하는 데 유용합니다. 인덱스가 작업에 적합한 경우 일부 dask 작업이 훨씬 빨라지는 이유이기도합니다.

연결할 때 두 번째 데이터 프레임은 첫 번째 데이터 프레임과 동일한 인덱스를 갖습니다. 인덱스의 값이 두 파티션에서 다른 범위를 갖는 경우, 인터 리빙없이 연결이 작동합니다.