pyspark를 사용하여 진화 알고리즘을 실행하는 방법

-1

spark에서 pyspark를 사용하여 GA, PSO와 같은 진화 알고리즘을 실행하고 싶습니다. Deap python 라이브러리를 사용하여 MLLib를 사용하여이를 수행합니다. 동일한 작업을 수행 할 수있는 다른 라이브러리가 있습니다.pyspark를 사용하여 진화 알고리즘을 실행하는 방법

출처

2017-09-14 yogendrask

DEAP를 Spark와 함께 사용하는 방법을보고 my answer을보고 작동하는지 확인하십시오.

다음은 DEAP toolbox ~ replace the map function을 Spark를 사용하는 맞춤형으로 구성하는 방법의 예입니다.

from pyspark import SparkContext 

sc = SparkContext(appName="DEAP") 

def sparkMap(algorithm, population): 
    return sc.parallelize(population).map(algorithm) 

toolbox.register("map", sparkMap)

출처

2017-09-25 01:30:47 frenchoverflow

'도구 상자'란 무엇입니까? 답변을 중복하지 마십시오. 하나의 좋은 것을 제공 한 다음, 주석을 통해 링크하십시오. –

DEAP에서 제공하는 유틸리티 클래스는 알고리즘의 나머지 부분에 영향을 미치지 않으면 서 연산자를 쉽게 변경할 수 있도록합니다 (docs [here] (http://deap.readthedocs.io) /en/master/tutorials/basic/part2.html#using-the-toolbox)이 예제에서는 Spark 병렬화 함수를 사용하는 맞춤 함수로 맵 함수 (모든 개별 개체에 피트니스 함수를 매핑하는 데 사용)를 대체합니다. [docs] (http://deap.readthedocs.io/ko/master/tutorials/basic/part4.html)에서 다른 예제를 찾을 수 있습니다. – frenchoverflow

pyspark를 사용하여 진화 알고리즘을 실행하는 방법

답변

관련 문제