2011-02-04 4 views
0

저는 현재 10 개의 그리드 (GIS에서 아스키 그리드로 저장되어 있습니다)가 있으며, 각각은 압축되지 않은 약 4.5GB가 있습니다. 또한 x와 y 좌표로 약 100,000 위치가 있습니다. 이 위치의 각각에서 모눈 값을 추출해야합니다. 나는 현재 작동하는 GRASS GIS를 사용하고 있지만 매우 느립니다. 누구든지 나에게 그러한 작업에 가장 적합한 라이브러리 또는 프로그래밍 언어를 추천 할 수 있습니까?매우 큰 새들의 추출 점

미리 감사드립니다.

+0

응용 프로그램이란 무엇입니까? 당신이하는 일이 무엇이든, 더 좋은 방법이 있어야합니다! – Benjamin

+0

프로그래머이거나 이미 작성된 것이 필요합니까? 귀하의 데이터는 훨씬 더 작게 만들 수 있으며 메모리에 적합 할 가능성이 높습니다. 예를 들어, 16 바이트 x, y, id 구조는 1GB RAM에 67,108,864 포인트를 저장할 수 있습니다. – madmik3

+0

@ Benjamin, 저는 R로 모델을 만들고 데이터를 준비하고 있습니다. – johannes

답변

1

Hadoop MapReduce의 클래식 유스 케이스와 비슷합니다.

Hadoop MapReduce는 계산 노드의 대규모 클러스터에서 방대한 양의 데이터를 신속하게 처리하는 응용 프로그램을 작성하기위한 프로그래밍 모델 및 소프트웨어 프레임 워크입니다.