아파치 빔 파이프 라인이 성공적으로 데이터 흐름 템플릿으로 실행되고 있습니다. 그러나, 나는 DataflowPipelineOptions를 확장하는 옵션 클래스를 가지고있다. 이 클래스는 템플릿이 생성 될 때 pom이나 명령 행 인터페이스에서 인수를 얻었습니다. 속성 파일에서이 매개 변수를 직접로드 할 수 있도록 일부 클래스가 있는지 알고 싶습니다. 이렇게하면 환경에서 환경으로 전환하는 것이 더 쉬울 것이고 청소기가됩니다.Apache Beam Options에서 속성 파일
2
A
답변
2
나는 당신의 질문을 이해하지 못합니다. 기본 템플릿 매개 변수를 명령 줄 또는 pom.xml
파일이 아닌 리소스 파일에서 제공된 값에 바인딩하는 방법이 있는지 묻고있는 것 같습니다.
PipelineOptions
으로 지정된 매개 변수에는 @Default.InstanceFactory
이라는 주석을 달아 매개 변수의 기본값을 생성하는 사용자 제공 팩토리 방법을 지정할 수 있습니다. 이를 통해 DefaultValueFactory
구현 내부의 리소스 파일에서 기본값을 읽을 수 있습니다.
/** A {@link DefaultValueFactory} that returns the current system time. */
public static class DefaultToCurrentSystemTime implements DefaultValueFactory<Long> {
@Override
public Long create(PipelineOptions options) {
return System.currentTimeMillis();
}
}
@Description("Minimum randomly assigned timestamp, in milliseconds-since-epoch")
@Default.InstanceFactory(DefaultToCurrentSystemTime.class)
Long getMinTimestampMillis();
void setMinTimestampMillis(Long value);
:
WindowedWordCount
이
DefaultToCurrentSystemTime
를 정의하는 방법을 예를 들어
는가 minTimestampMillis 매개 변수를 주석 참조
관련 문제
- 1. Apache Beam TextIO 와일드 카드 (로컬 파일)
- 2. Apache Beam 버전 2.2.0
- 3. Apache Beam : PTransform과 PValue
- 4. Python의 Apache Beam, beam.io.TextFileSource의 오류
- 5. Apache Beam 로컬 파이썬 종속성
- 6. Google Cloud Dataflow의 Apache beam
- 7. Apache Beam 메모리 내 저장
- 8. Apache Beam TextIO glob 원래 파일 가져 오기
- 9. 설명 Apache Beam python 구문을 설명합니다.
- 10. Apache Beam 및 CombineFn의 코더 문제
- 11. GAE Cronjob에서 실행되는 Apache Beam (Python) 트리거
- 12. Apache Beam Dataflow : 'NoneType'객체에 'parts'속성이 없습니다.
- 13. Apache Beam/Google Dataflow에서 ParseJsons를 사용하는 방법?
- 14. Apache beam Dataflow SDK 오류 (예 :
- 15. Apache Beam - 여러 창을 출력하는 Windows 슬라이딩
- 16. Apache Beam -BiasQueryIO Apex 러너 사용
- 17. Apache Beam : PubsubReader가 NPE로 인해 실패합니다.
- 18. wordcount 예제를 실행할 때 Apache Beam 예외
- 19. Maven을 사용하지 않는 Apache Beam 프로그램 실행
- 20. PCollection이 비어 있는지 확인하십시오 - Apache Beam
- 21. Android Beam (또는 S-Beam)으로 대용량 파일 보내기
- 22. Android Beam : "Tab to Beam"
- 23. Apache Beam/Dataflow의 여러 파일에 걸친 파이프 라인 코드
- 24. ng-options에서 색인 사용
- 25. Android Beam : Beam 내용 다운로드 방법
- 26. Apache Beam count HBase 행 블록 및 반환하지 않음
- 27. Apache Beam Eclipse에서 Dataflow Runner를 사용하는 MinimalWordcount 예제
- 28. Apache Beam : 이미 생성 된 파이프 라인의 단계 건너 뛰기
- 29. Apache Beam "mvn package"는 Eclipse를 통해 작동합니다.
- 30. 테이블 작성 후 Apache Beam 파이프 라인 쿼리 테이블