2013-06-12 4 views
-1

파이어 폭스에서 Quering JSON에 관한 몇 가지 질문을 보았지만 찾고있는 것을 찾지 못했습니다.Python에서 JSON 쿼리하기

{"x": 2, "y": 0} 
{"x": 3, "y": 1} 
{"x": 4, "y": 1} 

파일 : 2 :

{"x": 5, "z": 0} 
{"x": 4, "z": 1} 
{"x": 4, "z": 1} 

I 입력 파이썬 파일과 나는 모든 라인이 기록되는 JSON 형식에서 두 개의 큰 파일, 예를 들어

파일 1이

for line in infile: 
     Review = json.loads(line) 

"리뷰"에 행을 삽입 한 후 추가 작업을 수행하여 dict.

모든 파일에는 약 100K 개의 행이 있으므로 시간이 오래 걸립니다. 자,이 파일들을 쿼리하고 싶다면 (X에 의해 조인 할 수 있습니다), 다시 반복해야합니다. 이 일을 파이썬에서 일종의 Sqlite 패키지를 사용하는 방법에 대해 생각했지만 너무 서투른 것처럼 보인다. 누구나 가장 효율적인 방법은 무엇인지 알 수 있습니까? 감사합니다. .

+1

나는 거꾸로 작업하는 것으로 시작합니다 ... 왜이 데이터를 원하는 최종 용도로 사용하기에 부적합한 형식으로 준비 했습니까? –

+0

비우호적 인 형식이란 무엇입니까? 그게 내가 가진 방식이야 ... 어떻게 내가 더 친숙해질 수 있을까? – Shgidi

+1

이 데이터에 가입하려면 왜 데이터베이스가 아닌 파일에 상주합니까? 당신은 아마 당신이 그들을 사용하고자 할 때마다 메모리에 이러한 파일을 읽고 싶지 않아요. –

답변

1

SQLite3은 파이썬 표준 lib에 있으므로 이미 가지고 있습니다. 일반 연결 문자열 (위에서 링크 된 페이지의 세부 정보) 대신 (": 메모리 :")를 사용하여 메모리에 테이블을 만듭니다.

많은 수의 물건에 대해 데이터베이스 스타일 연산을 수행하고 있으며 신속하게 처리하려고합니다 : (a) 데이터베이스를 제안하고 (b) 모든 것을 메모리에로드합니다.