2013-01-11 1 views
1

SPC 분석을 수행하고 서로 관련이없는 서로 다른 데이터 프레임 개체가 1000 개있는 대규모 프로젝트 작업을하고 있습니다. 누구든지 메모리에 객체를 저장하는 모듈을 알고 있습니까? 파이썬 사전을 사용할 수는 있지만 잠금, 스레드 안전, 대기 및 대기 목록 등이 더 정교하고 기능적인 메커니즘을 원합니다. 나는 나의 지역 공공 도서관 시스템처럼 행동하는 무언가를 창조하려고 생각하고 있었다. 한 소유자에게 책을 체크인 및 체크 아웃하는 방법 등.1000의 데이터 프레임 개체를 저장하는 팬더

+0

내가 언급 했어야 할 것은 속도에만 메모리에 있어야한다는 것입니다. – user1968530

답변

2

HDF5-pytables은 팬더를위한 꽤 좋은 저장 백엔드입니다.

Pytables는 (당신이 정말로 당신이 이러한 기능을 제공하는 기존의 데이터베이스를 사용하는 것이 필요한 경우) 멀티 액세스 의 어떤 종류를 필요로하는 경우주의해야합니다 파일 시스템하지만주의처럼 관리 할 수 ​​확장 할 수 있습니다.

1

redis-py가있는 Redis는 하나의 솔루션입니다. Redis는 정말 빠르며 훌륭한 Python 바인딩이 있습니다. 위에서 언급 한 Pytables도 좋은 선택입니다. PyTables는 HDF5이며 정말 빠릅니다.