스파크 스트리밍을 사용하여 실시간 패킷을 처리합니다.

jnetpcap을 사용하여 실시간 패킷을 받았습니다. 누구나 스파크 스트리밍을 사용하여 라이브 패킷에서 패킷 헤더 및 기타 세부 정보를 추출하는 방법을 알려주실 수 있습니까?스파크 스트리밍을 사용하여 실시간 패킷을 처리합니다.

출처

2014-09-24 user3823859

내 코드에 다음 줄이 있습니다. val lines = KafkaUtils.createStream (ssc, zkQuorum, group, topicpMap) .map (_._ 2)이 스트림을 원래 객체에 "라인"으로 역 직렬화하는 방법은 무엇입니까? kafka 제작자에서 클래스를 직렬화 할 수 있도록 serialisability가 구현되었습니다. – user3823859

spark streaming programming guide을 읽은 경우 스트림 용 사용자 지정 수신기를 구현할 수 있음을 알게됩니다. 그러나 실제 가이드에는 거의 예제가 없으므로 페이지 맨 아래에 지정된 예제와 javadoc을 읽어야합니다.

This project

기본적 맞춤 수신기이다

가 Receiver
이물질 onStart 및 onStop 메소드 데이터 store 방법 스트림 통과
통화 확장

그것을 그만큼 쉬워야합니다. 파싱 할 패키지의 부분과 어쩌면 자신의 결정이 어떨까요? 프로그래밍 가이드에 따라 소스 레벨에서 패키지를 공급하고 자신 만의 변압기 등을 작성하면됩니다.

출처

2014-09-25 07:43:25

jnetpcap 라이브러리를 사용하여 수신기에서 패킷을 받았습니다. 그러나 각 패킷에서 RDD 작업을 사용하여 패킷 세부 정보를 추출하는 방법은 무엇입니까? – user3823859

이것이 일반적인 스트림 처리 문제입니다. 가능한 경우 수신자가 원시 데이터를 저장하기 만하면 트랜스포머는 원시 형식의 데이터를 수신하고 다음 단계에서 변환합니다. Receiver 파트 나 jnetpcap 패키지의 구조를 작성하는 방법에 대한 질문입니까? –

원시 형식의 데이터를 변환하는 방법에 대한 질문은 무엇입니까? – user3823859

스파크 스트리밍을 사용하여 실시간 패킷을 처리합니다.

답변

관련 문제