1

작업을 eclipse에 사용하여 Cassandra에 데이터를 삽입하려고합니다. 샘플 코드를 실행할 수 있지만 복잡한 테이블 디자인 문제가 있습니다.cassandra 커넥터에 대한 스파크 작업 실행 중 오류 발생 : java.io.IOException : test.events에 명령문을 쓰지 못함

누군가이 문제를 해결하는 방법을 도울 수 있습니까?

Caused by: java.io.IOException: Failed to write statements to test.events. 
    at com.datastax.spark.connector.writer.TableWriter$$anonfun$write$1.apply(TableWriter.scala:167) 
    at com.datastax.spark.connector.writer.TableWriter$$anonfun$write$1.apply(TableWriter.scala:135) 
    at com.datastax.spark.connector.cql.CassandraConnector$$anonfun$withSessionDo$1.apply(CassandraConnector.scala:111) 
    at com.datastax.spark.connector.cql.CassandraConnector$$anonfun$withSessionDo$1.apply(CassandraConnector.scala:110) 
    at com.datastax.spark.connector.cql.CassandraConnector.closeResourceAfterUse(CassandraConnector.scala:140) 
    at com.datastax.spark.connector.cql.CassandraConnector.withSessionDo(CassandraConnector.scala:110) 
    at com.datastax.spark.connector.writer.TableWriter.write(TableWriter.scala:135) 
    at com.datastax.spark.connector.streaming.DStreamFunctions$$anonfun$saveToCassandra$1$$anonfun$apply$1.apply(DStreamFunctions.scala:54) 
    at com.datastax.spark.connector.streaming.DStreamFunctions$$anonfun$saveToCassandra$1$$anonfun$apply$1.apply(DStreamFunctions.scala:54) 
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87) 
    at org.apache.spark.scheduler.Task.run(Task.scala:99) 
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:282) 
    ... 3 more 
+0

질문을 편집하고 스칼라 코드를 포함시켜주십시오. 또한 스키마를 살펴보십시오. – PseudoAj

+0

예외를 발생시키는 executor로 이동하여 해당 로그를 가져옵니다. 이것은 "실패한 모든 시도 메시지"입니다. 당신은 그것의 근원에 기계에 가고 거기에있는 오류를 얻을 필요가있다. – RussS

+0

이클립스에서이 코드를 실행하고 있습니다. 제발 말해줘요, 어디서 실행기 로그를 찾을 수 있습니까? –

답변

0

먼저 키를 제거하고 하나의 키만 작동하는지 확인하십시오. 나는 당신이 날짜를 사용하고있는 것을 볼 수 있습니다. 그래서 그것은 유일 할 수도 있습니다. 처음에는 적은 수의 레코드를 삽입하려고합니다. 작동하지 않는다면, 날짜를보십시오. 사용하는 날짜 형식에 문제가 있다면, 당신에게 많은 문제가 생겼어. 나는 한때 비슷한 문제가 있었고, 나의 날짜를 확인했다. 어쨌든 조작하는 동안, 그것은 12-00-2012가되었다. 그래서 카산드라가 오류를 던지고 있었기 때문이다.

샘플 코드가 작동하면 구성에 문제가 없어야 함을 의미합니다.

관련 문제