지도를 사용한 디멘션 감소가 분산 컴퓨팅을 사용합니까?

Question

는, 어쩌면 또한 Map-Reduce, 또는 다른 api를 사용하여 당신이 빅 데이터의 차원을 줄이기 위해 응용 프로그램이나 알고리즘을 알고 있습니까 :

• 당신의하는 치수를 줄이기 위해 유용 할 수 있습니다 Singular Value decomposition 이상과 같은 몇 가지 알고리즘을 아십니까 데이터 세트

• 분산 컴퓨팅을 사용하는 방법 이 문제를 해결합니까?

Answer 1

거기에 SVD가 구현되어 있기 때문에 Mahout을보십시오.

Answer 2

Mahout 외에 매우 큰 희소 행렬에 대한 고유 값 문제를 해결하기 위해 SLEPc (PETSc을 기반으로하는 툴킷)을 살펴 봐야합니다. MPI를 사용하기 때문에 여러 병렬 및 분산 아키텍처에서 실행됩니다. 파이썬으로 작성된 Gensim도 있습니다. Mahout 또는 SLEPc만큼 확장되지는 않지만 사용하기가 훨씬 쉽습니다.