스파크 스케쥴러 theresy

나는 오버 헤드를 많이 생성하는 몇 가지 분석 도구를 실행하기 때문에 계산에 더 많은 시간이 걸린다. 내가 그것을 실행하면이 오류 얻을 :스파크 스케쥴러 theresy

16/08/30 23:36:37 WARN TransportChannelHandler: Exception in connection from /132.68.60.126:36922 
java.io.IOException: Connection reset by peer 
     at sun.nio.ch.FileDispatcherImpl.read0(Native Method) 
     at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39) 
     at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223) 
     at sun.nio.ch.IOUtil.read(IOUtil.java:192) 
     at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:384) 
     at io.netty.buffer.PooledUnsafeDirectByteBuf.setBytes(PooledUnsafeDirectByteBuf.java:313) 
     at io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:881) 
     at io.netty.channel.socket.nio.NioSocketChannel.doReadBytes(NioSocketChannel.java:242) 
     at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:119) 
     at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511) 
     at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468) 
     at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382) 
     at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354) 
     at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111) 
     at java.lang.Thread.run(Thread.java:745) 
16/08/30 23:36:37 ERROR TaskSchedulerImpl: Lost executor 0 on 132.68.60.126: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages.

내가 스케줄러 실행 프로그램이 실패 생각하기 때문에 이런 생각을, 그래서 다른 일을 시작합니다.

작업 부하는 간단한 문자열 검색 (grep)입니다. 마스터와 슬레이브 모두 로컬이므로 아무런 문제가없는 것으로 가정합니다. 오버 헤드없이 실행하면 문제가 없습니다.

질문은 - 해당 시간 초과 임계 값을 어딘가에서 구성 할 수 있습니까?

감사합니다.

출처

2016-08-30 Gilsho

spark.network.timeout 10000000을 spark-defaults.conf으로 해결했습니다.

출처

2016-09-19 21:53:56 Gilsho

같은 오류가있어서'--conf spark.network.timeout 10000000'과'--conf spark.executor.heartbeatInterval 10000000'을 모두 사용했지만 해결되지 않았습니다. 이견있는 사람 ? – braj259

많은 것들을 시도해도 같은 오류가 발생했습니다. 내 작업은 오랜 시간이 지나면이 오류를 던집니다. 해결할 수있는 몇 가지 방법을 시도했습니다. 그래도, 나는 아직도 적어도 내 직업에 의해 동일한 오류가 발생합니다. 실행 프로그램이 될 수

하나의 이유 자체가 그들이 마스터의 연결이 끊어 생각 죽인다. 아래의 구성을 spark-defaults.conf 파일에 추가했습니다.

spark.network.timeout 10000000 spark.executor.heartbeatInterval 10000000

기본적으로 내가 증가 네트워크 시간 제한 및 하트 비트 간격

박히하는 데 사용되는 특정 단계, 처리에 사용 된 데이터 프레임을 캐시했습니다 ( 이 붙어있는 단계에서)

참고 : -이 오류는 해결되었지만 오류 로그에는 여전히 같은 오류가 표시되지만 내 작업은 종료되지 않습니다.

출처

2017-01-15 05:46:05 braj259

스파크 스케쥴러 theresy

답변

관련 문제