나중에 LoadIncrementalHFiles 명령으로 대량로드에 사용할 HFiles를 생성하는 Spark 응용 프로그램을 작성했습니다. 원본 데이터 풀이 매우 크기 때문에 입력 파일은 순차적으로 처리되는 반복으로 분할됩니다. 각각의 반복은 자신의 HFile 디렉토리를 만들고, 나의 HDFS 구조는 다음과 같습니다 /user/myuser/map_data/h
jark을 사용하여 kafka 스트림의 데이터를 저장하기 위해 Spark scala 2.11.8 hbase 커넥터를 사용하려고합니다. 그러나 저장하려고하면 다음 오류가 발생합니다. hortoworks에서 shc 커넥터를 사용하고 있습니다. 내 SBT 설정은 다음과 같습니다. 이 커넥터는 계속 지원됩니까? java.lang.ClassNotFoundExcept
사용자 프로필 데이터를 만들려는 요구 사항이 있습니다. 이 프로파일 데이터/스키마는 시간이 지남에 따라 점점 더 많은 속성이 프로파일에 추가된다는 의미를 계속 진화시킬 것입니다. 일부 데이터는 삭제, 업데이트 및 확장 될 수 있습니다. Hive + Avro가 그러한 용도로 좋은 저장소인지 알고 싶습니다 (하이브가 스키마가 없으며 스키마 진화를 지원하지 않는
Google Cloud Platform GKE, 으로 작업 중이며 kubernetes를 사용 중입니다. Google Bigtable을 통해 OpenTSDB를 사용하려고하는데 QA 시간입니다. 하지만 일부 데이터를 넣었을 때 예기치 않은 버그가 있었지만 표시되지 않았습니다. 오랜 시간이 걸리더라도 더 이상 표시되지 않습니다. 나는이 이미지와 튜토리얼 (버전
단일 열 값 필터를 적용한 후 HBase에서 선택한 열 패밀리의 행을 가져 오려고합니다. 내 테이블 'Projectdata'에서 나는 name|story|type|keyword
aritra| kl |ac |happy
nill |jk |bc |sad
bob |pk |dd |happy
같은 열 가족이있다. 나는 그들의 '키워드'
나는 다음과 같은 행 키 형식이 포함 된 HBase와 테이블이 있습니다 <salt>:<id>#<category>#<class>
000001:1234#AAAAAAAAAA#BBBBBBB
000001:2345#CCCCCCCCCC#DDDDDDD
000002:1234#EEEEEEEEEE#FFFFFFF
...
내가 행 키에 Scan을하고 모든 행을 좀하고
Hive 또는 Phoenix 또는 Hortonworks에서 제공하는 스파크 -Hbase 커넥터를 사용하지 않고 Hys 테이블을 Pyspark Dataframes로 직접 읽을 수 있습니까? 저는 Hbase에 비교적 익숙하며 Hbase 테이블을 Pyspark 데이터 프레임으로 변환하는 직접적인 Python 예제를 찾을 수 없습니다. 필자가 본 대부분의 예제는
생성 된 최신 열 한정자를 검색하는 API가 있습니까? dt:13949008261474
dt:13949008261434
dt:13949008261424
내가 최신 열 예선 데이터를 검색하려면 : 내 열 규정은 다음과 같이한다. 는 참고 사항 : 어떤 API는이에 대한이 없습니다 감사
HBase 테이블을 디자인했습니다. 여기서는 rowkey이 실행해야하는 쿼리로 구동됩니다. 베스트 프랙티스에 따라 해시 부분을 내 행키의 접두사로 포함하여 테이블 영역 전체에 가능한 한 균일 한 행을 펼치려고했습니다. 나는 다음과 같은 시나리오에 대한 걱정 : 나는 3 개 지역간 내 HBase를 테이블 분할의 행 수십억을 얻었다. 이 테이블을 사용하여 RE