pymongo 단일 삽입은 WriteConcern (w = 0)에도 불구하고 너무 느립니다.

Question

내 mongodb에 pymongo를 쓰고 있습니다. 가능한 빠른 성능을 원합니다. 그래서 쓰기 문제를 w = 0으로 설정했습니다. 위의 모든 시도에서

1.

client = MongoClient(host=HOST, port=PORT, w=0) 
collection = client[DB][COLLECTION] 
collection.insert_one(data) 

2.

client = MongoClient(host=HOST, port=PORT) 
collection = collection.with_options(write_concern=WriteConcern(w=0)) 
collection = client[DB][COLLECTION] 
collection.insert_one(data) 

3.

client = MongoClient(host=HOST, port=PORT) 
collection = client[DB][COLLECTION] 
collection.insert_one(data, bypass_document_validation=True) 

, 그것은 collection.insert_one 걸린 시간 (: 나는 세 가지 방법을 시도) ~ 0.5 초 (!)

W 아직도 오래 걸리는 삽입입니까?

나는 적어도 그 시간의 약 5 분의 일이어야한다고 생각한다. 따라서 '데이터'는 많은 데이터가 아니라 단지 몇 가지 항목입니다. mongodb 3.4 및 pymongo 3.0을 사용 중입니다.

Answer 1

먼저 "얼마나 빠름이 빠름"으로 대답해야합니다.

"느림"및 "빠름"은 매우 주관적인 용어입니다. 이는 프로비저닝 된 서버, 사용하는 언어, 삽입하는 문서, 컬렉션에 정의한 인덱스의 수, 기대까지의 많은 요소에 달려 있습니다.

일부 사람들에게는 "느린"것이> 100ms입니다. 다른 사람들의 경우 "느림"은> 10ms입니다. 물론, "빠른"결과를 얻으려면 서버 프로비저닝 비용이 더 비쌉니다.

또 다른 주목할 점은 파이썬이 가장 빠른 언어는 아닙니다. Global Interpreter Lock의 사용과 관련된 제한 사항은 잘 알려져 있습니다. 또한 해석 언어이기도하며 기본적으로 가독성을 높이기 위해 설계되었으며 속도는 아닙니다. 컴파일 된 언어 (C, C++ 등)를 사용하여 즉각적인 속도 향상을 얻을 수 있습니다.

또 다른 시도는 대량 삽입을 사용하고 insert_one()을 사용하여 많은 문서를 삽입하지 않는 것입니다. 대량 삽입을 사용하는 예는 http://api.mongodb.com/python/current/examples/bulk.html#bulk-insert을 참조하십시오.