신경망을 구축 할 때 기능 언어가 필수적입니까?

Question

신경망은 일반적으로 방대한 양의 데이터와 병렬 컴퓨팅을 사용해야하는 필요성을 특징으로합니다. 함수형 언어가 신경망을 구축하는 데 더 적합합니까?

Answer 1

아니요. 기능적 언어는 보통 불변성을 고수하면 (또는 어떤 종류의 통제되지 않은 부작용을 더 정확하게 방지 할 경우) 병렬화를 사소하게 만듭니다. 그렇지 않다면 비 기능적 언어로 병렬화하는 것이 쉽지 않습니다. 이 경우 두 가지 옵션이 있습니다

• 사용의 부작용이 있지만, 지역화 된 방식으로, 그래서 병렬 스레드는 서로 어떤 사업이 없다 : 예를 들어, 당신은 많은 NN-s를 평가할 수 있습니다. 각각의 스레드는 자체 스레드 일 수 있습니다 (CPU 코어 수보다 많은 스레드를 가진 스레드 풀을 사용하는 것이 좋습니다).

• 로컬 화되지 않은 부작용에 대해서는 동기화 나 다른 방법으로 제어해야합니다. 그 중 하나는 배우의 계산 모델입니다 (함수 언어 사용자에게는 매우 인기가 있지만 자바에서는 사용할 수 있습니다, http://akka.io/ 참조). 일반적으로 배우 내에서 부작용을 일으키지 만 배우의 상호 작용에는 엄격한 규칙이 있습니다. 이렇게하면 낮은 수준의 스레드 처리를 수행하지 않아도됩니다.

고려해야 할 또 다른 것은 그것이 순수하게 기능을하는 것도 매우 복잡 아니지만, 동시에 두 일을하는 것은 어려울 수 있습니다, 중간 정도 성능이 좋은 NN 구현이 너무 어렵지 않다이다 태스크. 그래서 당신이 기능적 언어에 익숙하지 않다면, 비 기능적 언어로, 또는 최소한 순수하지 않은 방법으로 병렬화 된 NN을 작성하는 것이 더 쉽다고 생각합니다.