자바 스크립트 - 일반 계산

Question

나는 현재 우리의 응용 프로그램에 대한 기능의 레이아웃에 대해 생각하고이 지금까지 가장 무거운 부분입니다 때문에, 내가 디자인하는 방법을 잘 모르겠습니다 데이터 3GB의 처리 :

우리가 원하는 사용자는 대형 데이터 세트에 대해 가정을 역행 할 수있는 가능성을 제공합니다.

• 데이터 세트는
• 그것은 계산에 사용 가능한 전에 (형식이 변경 될 필요가) 사전 처리해야합니다 3기가바이트 큰 (JSON) 이상
• 그것은 큰 내 주제로 작은 파일로 분할 될 수있다 데이터 세트는 분리 가능합니다.

처음에는 우리 가게의 전체 파일을 읽고 생각했습니다. 나는 기억이 살아남을 것이라고 의심하기 시작했다. (어떤 종류의 소비가 가정 할 것인가?)

내가 대안으로 생각한 대안은 파일에서 직접 읽는 것이지만, 그 다음에는 250mb의 자바 스크립트를 쪼개거나 스트리밍해야합니다 (좋은 생각?).

코드를 작성하기 전에 Javascript에서 가장 효율적으로 이러한 종류의 방대한 데이터에 접근하는 방법을 알고 싶습니다. 지금은 모든 것이 가능합니다.

감사합니다. Jan

Answer 1

데이터를 데이터베이스와 서버로 옮깁니다. 개인적으로 앱 내에서 호출 할 데이터베이스의 데이터를 수정하는 RESTful API를 만들 것입니다.

자바 스크립트로 작성 중이므로 RESTful API에 대한 노드 서버를 만들고 SQL 또는 noSQL과 같은 데이터베이스에 데이터를 저장할 수 있습니다. 그런 다음 json 파일에서 데이터를 가져 와서 데이터베이스에 저장하십시오.

모든 다른 데이터베이스 유형을 조사하고 데이터베이스를 사용하여 데이터를 조작하고 보관하는 것이 좋습니다. 큰 문제는 관계형 데이터베이스와 비 관계형 데이터베이스입니다. 자세한 내용은 다음을 참조하십시오. http://jlamere.github.io/databases/