SPC 분석을 수행하고 서로 관련이없는 서로 다른 데이터 프레임 개체가 1000 개있는 대규모 프로젝트 작업을하고 있습니다. 누구든지 메모리에 객체를 저장하는 모듈을 알고 있습니까? 파이썬 사전을 사용할 수는 있지만 잠금, 스레드 안전, 대기 및 대기 목록 등이 더 정교하고 기능적인 메커니즘을 원합니다. 나는 나의 지역 공공 도서관 시스템처럼 행동하는 무언가를 창조하려고 생각하고 있었다. 한 소유자에게 책을 체크인 및 체크 아웃하는 방법 등.1000의 데이터 프레임 개체를 저장하는 팬더
1
A
답변
2
HDF5-pytables은 팬더를위한 꽤 좋은 저장 백엔드입니다.
Pytables는 (당신이 정말로 당신이 이러한 기능을 제공하는 기존의 데이터베이스를 사용하는 것이 필요한 경우) 멀티 액세스 의 어떤 종류를 필요로하는 경우주의해야합니다 파일 시스템하지만주의처럼 관리 할 수 확장 할 수 있습니다.
1
redis-py가있는 Redis는 하나의 솔루션입니다. Redis는 정말 빠르며 훌륭한 Python 바인딩이 있습니다. 위에서 언급 한 Pytables도 좋은 선택입니다. PyTables는 HDF5이며 정말 빠릅니다.
관련 문제
- 1. 팬더 데이터 프레임 개체에 스타일을 추가 한 후 팬더 데이터 프레임 개체를 PDF로 저장하려면 어떻게해야합니까?
- 2. AnguarJS에 팬더 데이터 프레임
- 3. 팬더 데이터 프레임 오류
- 4. 팬더 리샘플링 데이터 프레임
- 5. 재편 팬더 데이터 프레임
- 6. 팬더 데이터 프레임 재구성
- 7. 팬더 데이터 프레임 반복하기
- 8. 팬더 데이터 프레임 히스토그램
- 9. 목록의 팬더 데이터 프레임
- 10. 팬더 데이터 프레임 - 파이썬
- 11. 팬더 : 데이터 프레임 피벗
- 12. 중첩 팬더 데이터 프레임
- 13. 팬더 데이터 프레임 그룹화
- 14. 팬더 데이터 프레임 Transpose
- 15. 팬더 데이터 프레임 정렬
- 16. 팬더 데이터 프레임 계산
- 17. 팬더 데이터 프레임 적용
- 18. 피클 덤프 팬더 데이터 프레임
- 19. 여러 팬더 데이터 프레임 생성
- 20. 날짜순으로 팬더 데이터 프레임 그룹화
- 21. 팬더 데이터 프레임 청크 : 데이터 프레임 생성기 개체 작성 to_csv
- 22. 멀티 헤더 팬더 데이터 프레임
- 23. 팬더 - 다중 데이터 프레임 병합
- 24. 복사하지 않고 팬더 데이터 프레임
- 25. 커스텀 정렬 팬더 데이터 프레임
- 26. 그래프 만들기 팬더 데이터 프레임
- 27. 팬더 데이터 프레임 목록 병합
- 28. 팬더 데이터 프레임 열 계산
- 29. 팬더 데이터 프레임 실행 취소
- 30. 팬더 데이터 프레임 튜플 목록에
내가 언급 했어야 할 것은 속도에만 메모리에 있어야한다는 것입니다. – user1968530