2016-11-02 2 views
0

저는 Socrata 시스템 인 SFGov 공개 데이터 (data.sfgov.org)를 분석하기 위해 Splunk를 사용하고 있습니다.마지막 쿼리 이후 Socrata SODA 데이터 세트에서 가장 최근의 행을 얻으려면 어떻게해야합니까?

json 데이터를 다운로드하고 오프라인으로 데이터를 분석 할 수 있습니다. 지금은 데이터 세트 (매일)에 대한 업데이트의 자동 인덱싱을 구현 중입니다.

지난 폴링 이후 실제로 어떤 소크라타 API 필드를 사용하여 새 레코드를 가져 오는지 알아 내려고합니다.

$ where URL 옵션을 사용하여 created_at 및 : updated_at 매개 변수를 다시 필터링 할 수 있지만 rowID 또는 마지막 색인 또는 이와 유사한 항목이 있습니까? 나는 마지막으로 가져온 행에서 스플래크쪽에 로컬 상태를 유지할 것이다.

내가 어젯밤에있어 마지막 행이 tonite의 확인을 위해 다음, 18,104 있다면, 내가 행에 대해 물어볼 것처럼 사전에> 18104.

감사를 게시! 파이썬을 자동화에 사용하고 있습니다.

------는 = 현재

내가 수동으로 GET의이 유형을 시도하고 테스트입니다

https://data.sfgov.org/resource/nwsr-z4mh.json? $ (hurl.it를 사용하여 테스트) 2016년 11월 2일를 --- 추가 : 사이 created_at ': 00 : 2016-10-23T18 00'및 '2016-11-03T00가 : 00 : 00 : $가 = created_at의 DESC & 선택 & $ 순서 = * *

  • 이 사용 : Socrata 데이터 세트의 created_at 시스템 필드.
  • 타임 스탬프간에 생성 된 레코드가 반환됩니다. 그게 효과가있는 것 같습니다.

그래서 이것을 파이썬에 넣으려면 이전에 가져온 날짜 - 시간을 저장하고 '와 (과) 사이'를 작성하여 최신 작성된 레코드를 가져와야합니다. "~ 8rdi 행 8aiu.d5x4 매개 변수를 아직

답변

0

그것은 당신이있어 다음과 같습니다

내가 행 번호를 참조하는 방법을 선호하지만, 나는 ID를 사용하는 방법을 모른다" ". 이미 옳은 일을하고. 당신은 최신 :created_at 또는 :updated_at을 저장하고 다음 검색어에 대한 $where에 그것을 사용할 것입니다. 행 ID는 식별자가 아닌 날짜 시간이기 때문에

당신은 $where=:updated_at > :row-... 할 수 없습니다.

+0

Chris 감사합니다. SFGov로 created_at 접근 방식을 검증 했으므로 동일한보기를 사용하는 것이 좋습니다. –

+0

또 하나의 질문 @ chrismetcalf : socrata 워드 프로세서 어딘가에서 행 ID의 정의가 있습니까? 날짜와 일치시킬 수는 없지만 rowID가 임의의 문자열인지 또는 필터링 기준에 사용할 수있는 구조가 있는지 알아 보는 데 도움이됩니다. –

+0

예 : 이 URL의 행 ID를 사용하여 행을 추출 할 수 있습니다. [link] (https://data.sfgov.org/resource/nwsr-z4mh/row-8aiu.d5x4~8rdi.json) 이해하고 싶습니다. 그 문자 구조가 있다면 그 문자 구조가 더 좋다. –

관련 문제