SAS는 : <br/>이 1) 고객 수 <br/> 2) X <br/> 3) Y 좌표 : 테이블

Question

다른 모든 고객에게 각 고객의 평균 (유클리드) 거리를 계산 나는 다음과 같은 속성을 가진 60K 고객의 SAS 데이터 세트를
4) 매장 방문

나는 각각의 거리가 방문의 비교 고객의 수에 의해 가중되는 테이블의 다른 모든 고객에게 각 고객의 평균 가중치 거리를 계산해야

좌표. 예를 들어, 고객 A & 고객 B 사이의 거리는 10입니다. 그런 다음 고객 B의 방문수 (2)가 5 인이 거리를 가중시킵니다.이 프로세스는 테이블의 다른 모든 고객에 대해 반복되며 평균 이 모든 60k 고객에 대한 가중 거리.

나는 이것을하기위한 무차별 대입 방식이 데카르트 조인 (즉, 60k x 60k = 36 억 레코드 테이블 만들기)이지만 메모리가 부족하거나 SAS가 중단 될 가능성이 높습니다. 나는 이것을 더 다루기 쉬운 데카르트 조인 (즉, 10 x 60K = 600k x 6000 회 반복으로 분해하는 것을 고려해 보았지만 이것은 꽤 시간이 많이 걸릴 것 같다 - 어쩌면 나의 유일한 선택 일 수도있다). 나는 너희들을 추측하고있다/gals는 이것을하는 훨씬 더 좋은 방법을 안다!

의견을 보내 주시면 감사하겠습니다.

도움 주셔서 감사합니다.

Answer 1

나쁜 소식은이 계산 속도를 향상시킬 방법이 없다는 것입니다.

카티 전 곱 (Cartesian product)을 수행하면 SAS가 충돌하지 않거나 메모리 부족 현상이 발생하지 않습니다. 다른 좋은 소식은 데이터 단계에서 이렇게하는 것이 PROC SQL에서 수행하는 것보다 빠르다는 것입니다.

data test; 
do cn=1 to 64000; 
    x = ceil(Ranuni(13)*100); 
    y = ceil(ranuni(13)*100); 
    visits = max(1,round(rannor(12)*3 + 8,1)); 
    output; 
end; 
run; 

sasfile test load; 

data ave_dist(keep=cn ave_dist); 
set test end=last; 

dist=0; 
td= 0; 
total_visits=0; 
do i=1 to n; 
    set test(rename=(cn=cn_2 x=x_2 y=y_2) drop=visits) point=i nobs=n; 

    if cn ^= cn_2 then do; 
     xx = (x-x_2); 
     yy = (y-y_2); 
     total_visits = total_visits + visits; 
      dist = sqrt(xx*xx + yy*yy); 
     if dist^= 0 then 
      dist = 1/dist; 
    else 
     dist = 100; /*Adjust to something that makes sense to your data*/ 
     td = visits*dist + td; 
    end; 
end; 

ave_dist = td/total_visits; 
output; 

run; 

sasfile test close; 

나는 거리 계산을 거꾸로했다. 작은 거리에서 더 높은 점수를 원합니다. 나는 이것을 진정한 방문 가중 평균으로 만들었다.

내 노트북에서 실행하는 데 약 13 분이 걸립니다.

Answer 2

고객 기반이 < 100k가 될 경우 PROC DISTANCE이 도움이 될 수 있습니다. @DomPazz에서 만든 데이터 세트를 사용하면 다음 코드를 실행하고 결과를 검사 할 수 있습니다. 이 경우에는 16 초 만에 실행되는 첫 번째 10K 고객 만 시험해 보겠습니다. 그게 속임수로 당신을 거짓된 안보 의식에 빠뜨리지 마라. 너가 두배가되면 고객의 시간은 4 배가됩니다. (실제 시간 : 10K - 16secs, 20K - 47 초, 40K - 3mins ...) (N이고 노 고객의 사용자 입력 데이터 세트.)

이 절차는 NxN 정방 행렬을 생성한다. SAS가 어느 시점에서 RAM 메모리 문제 (적어도 1.10 * NxN * 8 바이트 정도의 하드 드라이브 공간을 확보해야하는지)를 시도하고 실험 해 볼 수 있습니다. 행렬의 각 셀은 '고객'과 '고객'의 열 (행) 거리가 i입니다. 일단 거리를 얻으면 고객의 방문 거리와 평균 거리를 곱하는 간단한 문제입니다.

proc distance data = test(obs = 100) 
OUT=test_distances(compress = binary) 
METHOD= EUCLID shape = SQUARE 
UNDEF=1000000 
VARDEF=wdf; 
var INTERVAL(x y) 
; 
copy cn visits; 
run; 

data avg_dist; 
set train_distances; 
array dist{*} dist:; 
prod=0; 
do i = 1 to dim(dist); 
prod = visits*dist{i}+prod; 
end; 

avg_dist=prod/dim(dist); 

dims=dim(dist); 

drop i dist: 
; 
run; 
proc sql; 
drop table test_distances; 
quit; 

해결하려는 문제의 유형은 일반적으로 k-nearest neighbour 문제로 알려져 있습니다. 이 분야에서 수십 년에 걸친 연구가 있었으며, 대부분이 성능을 위해 Kd-trees과 같은 특별한 데이터 구조를 사용하여 해결되었습니다.대부분의 사람들은 who are the top-10 (or K) closest customers to this customer I'm interested in?과 같은 질문에 대답하는 데 관심이 있습니다. 이러한 유형의 문제를 효율적으로 해결하는 또 다른 절차는 이며 kd-tree과 Rd-tree이라고하는 SAS의 독점 구조를 모두 지원합니다. 그러면 PDF 문서 만 찾을 수 있습니다 from SAS Eminer 4.3 일

N * N 개 항목 사이의 거리를 계산해야하는 순간 문제가 발생합니다. 코멘트에서 프로젝트 설명을 읽는 것만으로는 모든 고객과 모든 고객 사이의 거리를 계산하는 것이 아니라 모든 고객과 모든 상점 간의 거리와 같은 거리를 계산하는 것이 필요합니다.

이렇게하면 문제의 차원이 크게 줄어들어 쿼리 성능이 크게 향상됩니다.

N 개의 고객과 S 점포가 있고 N * S 점 사이의 거리 만 계산하면됩니다. (단순한 데이터 단계는 직교 좌표계 제품이나 특수 데이터 구조가 필요하지 않으므로 작업을 수행합니다.)

거기에서 S의 각 상점에 대해 해당 매장에서 구매 한 고객의 비율을 볼 수 있습니다 1KM에서 2KM는 3KM .... 그런

당신은 라이브 2KM 등 내에서 1km, 15 % 내에서 다음과 같은 80 % 라이브 답변 ...