Java의 분산 매트릭스 곱셈

Question

현재 Java로 코딩하려고하는 Matlab의 몇 가지 알고리즘이 있습니다. 다음 중 하나를 사용하여 그렇게 할 것입니다 (콜트, Apache Commons Math, jblas). 그러나 이러한 알고리즘의 속도를 향상시키려는 노력을하고 있기 때문에 이러한 알고리즘을 병렬 처리하여 성능을 향상시킬 수있는 제안을 찾고 있습니다.

내가 알 수있는 것부터, Hadoop은 매트릭스 작업을 배포하기위한 좋은 옵션이 아닙니다. Mahout을 살펴 봤지만이 목표를 달성하는 데 도움이되는지는 분명하지 않습니다.

귀하의 모든 팁과 제안에 많은 감사드립니다.

Answer 1

Hadoop이 "매트릭스 작업 배포에 적합한 옵션이 아닙니 다."라는 정보를 어디서 얻었습니까? 그것은 확실히 좋은 선택이지만, 귀하의 데이터가 엄청나게 길면 (예 : 50GB 이상). 메모리에 맞출 수 있다면 Hadoop은 좋은 선택이 아니지만, 여러 TB 데이터에서 사용하려는 경우 Hadoop은 작업을위한 훌륭한 도구입니다. 행렬 곱셈을 최적화 할 때 데이터 구조 (예 : 클러스터가 너무 작습니까? 등)와 같이 고려해야 할 사항이 많이 있습니다.

MapReduce에서 Matrix Multiplication을 구현하는 방법에 대한 Google의 정보가 충분합니다. Jeffrey Ullman의 book은이 경로를 선택하면 시작하는 것이 좋습니다.