scala

0열

2답변

저는 SQL과 Apache Spark을 배우기 시작했습니다. Spark에서 SQL 테이블을 가져 왔습니다. 이제 '예'일 필요가있는 필드를 기준으로 성공률을 찾아야합니다. 그래서 나는 '예'와 같은 특정 필드가 행 수로 나눈 행의 총 수를 찾을 필요가 나는 개별적으로 결과를 찾을 수 있었다 그러나이 두 개의 쿼리를 결합하는 방법을 알고하지 않았다 . sql

0열

1답변

sbt 콘솔 - 탭 완성

나는이 글을 쓰는 시점에서 최신 sbt 1.0.4를 사용하고 있습니다. sbt console을 실행하면 Scala REPL (프로젝트에서 Scala 2.12.4 사용)이 나옵니다. 코드 완성을 호출하는 키보드 명령은 무엇입니까? 탭이 작동하지 않습니다. 탭 문자가 추가되고 백 스페이스가 연속적으로 끊어집니다. 나는 리눅스의 Bash로부터 sbt를 시작하고있

0열

1답변

Scalameta로 문자열 리프팅

클래스를 CSV String으로 구문 분석하기 위해 'toCSV'메소드를 삽입하고 싶습니다. 서열 [문자열] : 헤더 서열 [서열 [없음] : 가 class model extends scala.annotation.StaticAnnotation { inline def apply(defn: Any): Any = meta { defn matc

0열

3답변

스파크 데이터 프레임의 문자열 열에서 단어를 추출하십시오.

텍스트가있는 스파크 데이터 프레임에 열이 있습니다. 특수 문자 '@'으로 시작하는 모든 단어를 추출하고 해당 텍스트 열의 각 행에서 regexp_extract을 사용하고 있습니다. 텍스트에 '@'으로 시작하는 여러 단어가 포함되어 있으면 첫 번째 단어를 반환합니다. 나는 스파크에 내 패턴과 일치하는 여러 단어를 추출 찾고 있습니다. data_frame.wi

1열

3답변

스칼라 함수가 함수 인수에 대문자 클래스 형식을 허용하는 이유는 무엇입니까?

코드 블록을 고려하십시오. class Evaluation { def evaluate= { println("Charlie...") } } case class Dept(name:String) extends Evaluation def depEval(name:String,f:(String) => Evaluation) ={

3열

2답변

Spark : Dataframe Serialization

스파크 직렬화와 관련하여 2 가지 질문이 있습니다. 단순히 인터넷 검색으로 답변을 찾을 수 없습니다. 현재 사용중인 시리얼 라이저의 이름을 어떻게 인쇄 할 수 있습니까? 나는 spark.serializer가 Java인지 Kryo인지를 알고 싶다. 나는 Kryo 직렬화를 사용하기로되어있는 다음 코드를 가지고있다; 데이터 프레임에 사용 된 메모리 크기는 21

0열

1답변

SBT uber jar 컴파일

SBT 프로젝트를 오프라인 환경에서 작동시키는 가장 좋은 방법은 무엇입니까? 네트워크 환경 (예 : 네트워크 환경)에서 컴파일하는 방법은 무엇이든간에 예를 들어 uber jar를 종속품으로 모두 컴파일 한 다음 오프라인 환경에서 을 실행하면됩니까? 자바 메이븐, 예를 들어 우리는 모든 종속성, 다음 오프라인 ENV 단지 java -jar MyJar.jar

0열

1답변

avro 스키마를 모른 채로 Avro 인코딩 된 카프카 메시지를 스칼라로 읽는 방법?

메시지가 Avro로 인코딩되고 스키마가 동적으로 변경되는 주제에서 카프카 메시지를 읽으려면 스칼라 또는 자바 클라이언트를 작성해야합니다. Avro 파일로 작성하지 않고이 메시지를 읽으려면 해결책을 제안하십시오.

0열

1답변

spark datframe, scala에서 행을 열로 변환하는 방법

데이터 프레임 행을 열에 조인 할 수있는 방법이 있습니까? I는 입력으로 구조를 다음과 같은 한 : 행을 열로 전치 사용할 수있는 최적화 된 직접 API가있는 경우 val inputDF = Seq(("pid1","enc1", "bat"),("pid1","enc2", ""),("pid1","enc3", ""),("pid3","enc1", "cat"),("pi

1열

1답변

Slick Streaming 데이터 변환 및 Akka Http를 사용한 청크 응답 전송

목표는 데이터베이스에서 데이터를 스트리밍하고이 데이터 청크에서 일부 계산을 수행 한 다음 (이 계산은 일부 사례 클래스의 미래를 반환 함)이 데이터를 청크 응답으로 전송하는 것입니다. 사용자에게 현재 데이터를 스트리밍하고 계산을 수행하지 않고 응답을 보낼 수 있습니다. 그러나이 계산을 수행하고 결과를 스트리밍 할 수 없습니다. 이것은 구현 한 경로입니다.