NumPy/Python

Question

np.unique()를 실행하면 배열을 평평하게 만들고 배열을 정렬 한 다음 고유 한 값을 찾습니다. 모양이있는 배열 (10, 3000, 3000)을 가지고있을 때, 유니크를 찾는 데는 약 1 초가 걸리지 만, np.unique()를 여러 번 호출해야하므로 빠르게 추가됩니다. 배열의 고유 숫자의 총 개수 만 신경 쓰므로 정렬은 시간 낭비처럼 보입니다.

np.unique() 이외의 큰 배열에서 고유 값의 총 개수를 찾는 더 빠른 방법이 있습니까?

Answer 1

다음은 np.unique보다 빠른 dtype np.uint8 인 배열에서 작동하는 방법입니다.

먼저 작동하는 배열을 생성 : np.unique를 사용하여 고유 값을 찾은 후에 비교 용

In [128]: a = np.random.randint(1, 128, size=(10, 3000, 3000)).astype(np.uint8) 

:

가

In [129]: u = np.unique(a) 

여기서 빠른 방법이다; 우리가 같은 결과를 얻었다 것을

In [130]: q = np.zeros(256, dtype=int) 

In [131]: q[a.ravel()] = 1 

In [132]: v = np.nonzero(q)[0] 

확인 : v는 결과를 포함

In [133]: np.array_equal(u, v) 
Out[133]: True 

타이밍 :

그래서

In [134]: %timeit u = np.unique(a) 
2.86 s ± 9.02 ms per loop (mean ± std. dev. of 7 runs, 1 loop each) 

In [135]: %timeit q = np.zeros(256, dtype=int); q[a.ravel()] = 1; v = np.nonzero(q) 
300 ms ± 5.52 ms per loop (mean ± std. dev. of 7 runs, 1 loop each) 

대체 방법 np.unique()에 2.86 초, 0.3 초 .

Answer 2

범위가 uint8 인 범위로 제한하고 빈 값으로 np.bincount으로 계산 한 다음 단순히 0이 아닌 개수를 계산할 수 있습니다. np.bincount은 1D 배열을 필요로하기 때문에 np.ravel()으로 입력을 평평하게 한 다음 bincount으로 입력합니다.

따라서 구현 될 -

(np.bincount(a.ravel())!=0).sum() 

런타임 테스트

도우미 함수 고유 번호의 다양한 수의 입력 배열 만들 -

def create_input(n_unique): 
    unq_nums = np.random.choice(np.arange(256), n_unique,replace=0) 
    return np.random.choice(unq_nums, (10,3000,3000)).astype(np.uint8) 

다른 접근법 (들) :

제안 된 방법의 443,210

검증 -

In [141]: a = create_input(n_unique=120) 

In [142]: len(np.unique(a)) 
Out[142]: 120 

In [143]: (np.bincount(a.ravel())!=0).sum() 
Out[143]: 120 

타이밍 - 배열의 데이터 유형은 무엇

In [124]: a = create_input(n_unique=128) 

In [125]: %timeit len(np.unique(a)) # Original soln 
    ...: %timeit assign_method(a) # @Warren Weckesser's soln 
    ...: %timeit (np.bincount(a.ravel())!=0).sum() 
    ...: 
1 loop, best of 3: 3.09 s per loop 
1 loop, best of 3: 394 ms per loop 
1 loop, best of 3: 209 ms per loop 

In [126]: a = create_input(n_unique=256) 

In [127]: %timeit len(np.unique(a)) # Original soln 
    ...: %timeit assign_method(a) # @Warren Weckesser's soln 
    ...: %timeit (np.bincount(a.ravel())!=0).sum() 
    ...: 
1 loop, best of 3: 3.46 s per loop 
1 loop, best of 3: 378 ms per loop 
1 loop, best of 3: 212 ms per loop