Pyspark 설치시 문제가 발생했습니다.

Question

pyspark를 사용하여 로컬 시스템에서 Spark를 실행하고 싶습니다. 완료를 설치

sbt/sbt assembly 
$ ./bin/pyspark 

하지만 pyspark은 (전액) 다음과 같은 오류가 발생합니다 실행할 수 없습니다 : here에서 나는 명령을 사용

138:spark-0.9.1 comp_name$ ./bin/pyspark 
Python 2.7.6 |Anaconda 1.9.2 (x86_64)| (default, Jan 10 2014, 11:23:15) 
[GCC 4.0.1 (Apple Inc. build 5493)] on darwin 
Type "help", "copyright", "credits" or "license" for more information. 
Traceback (most recent call last): 
    File "/Users/comp_name/Downloads/spark-0.9.1/python/pyspark/shell.py", line 32, in <module> 
    sc = SparkContext(os.environ.get("MASTER", "local"), "PySparkShell", pyFiles=add_files) 
    File "/Users/comp_name/Downloads/spark-0.9.1/python/pyspark/context.py", line 123, in __init__ 
    self._jsc = self._jvm.JavaSparkContext(self._conf._jconf) 
    File "/Users/comp_name/Downloads/spark-0.9.1/python/lib/py4j-0.8.1-src.zip/py4j/java_gateway.py", line 669, in __call__ 
    File "/Users/comp_name/Downloads/spark-0.9.1/python/lib/py4j-0.8.1-src.zip/py4j/protocol.py", line 300, in get_return_value 
py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext. 
: java.net.UnknownHostException: 138.7.100.10.in-addr.arpa: 138.7.100.10.in-addr.arpa: nodename nor servname provided, or not known 
    at java.net.InetAddress.getLocalHost(InetAddress.java:1466) 
    at org.apache.spark.util.Utils$.findLocalIpAddress(Utils.scala:355) 
    at org.apache.spark.util.Utils$.localIpAddress$lzycompute(Utils.scala:347) 
    at org.apache.spark.util.Utils$.localIpAddress(Utils.scala:347) 
    at org.apache.spark.util.Utils$.localIpAddressHostname$lzycompute(Utils.scala:348) 
    at org.apache.spark.util.Utils$.localIpAddressHostname(Utils.scala:348) 
    at org.apache.spark.util.Utils$$anonfun$localHostName$1.apply(Utils.scala:395) 
    at org.apache.spark.util.Utils$$anonfun$localHostName$1.apply(Utils.scala:395) 
    at scala.Option.getOrElse(Option.scala:120) 
    at org.apache.spark.util.Utils$.localHostName(Utils.scala:395) 
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:124) 
    at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:47) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) 
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 
    at java.lang.reflect.Constructor.newInstance(Constructor.java:526) 
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:234) 
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:379) 
    at py4j.Gateway.invoke(Gateway.java:214) 
    at py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:79) 
    at py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:68) 
    at py4j.GatewayConnection.run(GatewayConnection.java:207) 
    at java.lang.Thread.run(Thread.java:724) 
Caused by: java.net.UnknownHostException: 138.7.100.10.in-addr.arpa: nodename nor servname provided, or not known 
    at java.net.Inet6AddressImpl.lookupAllHostAddr(Native Method) 
    at java.net.InetAddress$1.lookupAllHostAddr(InetAddress.java:894) 
    at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1286) 
    at java.net.InetAddress.getLocalHost(InetAddress.java:1462) 
    ... 22 more 

모든 아이디어는 내가 잘못 뭐하는 거지? IP 주소가 138.7.100.10 인 곳이 어디인지 알 수 없습니다. MAMP를 사용하여 로컬 호스트를 만들 때이 오류가 발생합니다. 미리 감사드립니다.

Answer 1

제가 사용한 자바 버전은 1.7입니다.

java version "1.7.0_25" 
Java(TM) SE Runtime Environment (build 1.7.0_25-b15) 
Java HotSpot(TM) 64-Bit Server VM (build 23.25-b01, mixed mode) 

1.6으로 다운 그레이드하려면 :

$ cd /Library/Java/JavaVirtualMachines 
$ ls 

반환 :

jdk1.7.0_25.jdk 

실행 나는 맥북 에어를 사용하고 , 10.9.2

$ java -version 

는 준

해당 파일을 삭제하려면 (및 다운 그레이드 ja 버지니아 및 해결 내 문제) : 다음

$ sudo rm -rf jdk1.7.0_25.jdk 

내가했다 :

:

java version "1.6.0_65" 
Java(TM) SE Runtime Environment (build 1.6.0_65-b14-462-11M4609) 
Java HotSpot(TM) 64-Bit Server VM (build 20.65-b04-462, mixed mode) 

그리고 마침내, 나는 불꽃을 실행할 수 있어요 : 출력을 준

$ java -version 

$ ./bin/pyspark 

그리고 모두 만족합니다.

Welcome to 
     ____    __ 
    /__/__ ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/ '_/ 
    /__/.__/\_,_/_/ /_/\_\ version 0.9.1 
     /_/ 

Answer 2

올바른 해결책은 SPARK_LOCAL_IP 환경 변수를 localhost 또는 호스트 이름이 무엇이든 설정하는 것입니다.

Answer 3

나는 Spark과 동일한 문제가 있었으며 노트북 IP와 관련이 있습니다.

내 솔루션 :

sudo는/etc/hosts 파일

아래에 127.0.0.1 localhost를 localhost.localdomain localhost4 localhost4.localdomain4

127.0.0.1의 LAPTOPNAME

를 추가

당신의 LAPT OPNAME은 터미널에서 찾을 수 있으며 root @ LAPTOPNAME (설치 중에 설정 한 위치)

Java1과 함께 실행됩니다.7