사전 임포트 모듈 용 파이썬 스레드

Question

과학 컴퓨팅 분야에서 파이썬 응용 프로그램을 작성 중입니다. 현재 사용자가 GUI로 작업하고 새로운 물리 시뮬레이션을 시작하면 인터프리터는 Traits 및 Mayavi과 같이 시뮬레이션에 필요한 여러 모듈을 즉시 가져옵니다. 이 모듈은 무거 우며 가져 오기에는 너무 오래 걸리고 사용자는 계속하기 전에 ~ 10 초 정도 기다려야합니다.

나는 이것을 고칠 수있는 것으로 생각했다. 나는 그것을 설명 할 것이고 아마도 다른 누군가가 이미 그것을 구현했다. 그렇지 않으면 나는 그것을 스스로 할 수도있다.

내가 원하는 것은 비동기 적으로 모듈을 반입 할 별도의 스레드입니다. 아마도 threading.Thread의 하위 클래스가 될 것입니다.

이

importer_thread = ImporterThread() 
importer_thread.start() 

# ... 

importer_thread.import('Mayavi') 
importer_thread.import('Traits') 
# A thread-safe method that will put the module name 
# into a queue which the thread in an inifine loop 

# ... 

# When the user actually needs the modules: 
import Mayavi, Traits 
# If they were already loaded by importer_thread, we're good. 
# If not, we'll just have to wait as usual. 

그래서 당신이 이런 일을 알고 않습니다

은 여기에 사용 예제? 그렇지 않다면 디자인에 대한 제안 사항이 있습니까?

Answer 1

이 문제는 가져 오기가 사용 가능하기 전에 완료해야한다는 점입니다. 응용 프로그램을 처음 사용하는 시점에 따라 응용 프로그램을 10 초 동안 차단해야 어쨌든 시작할 수 있습니다. 모듈을 프로파일 링하는 것이 훨씬 더 생산적이며 인 이유는 무엇입니까? 가져 오기에는 너무 오래 걸립니다.

Answer 2

는 "사용자가 GUI와 함께 작동하고 새로운 물리 시뮬레이션 시작"

별로 명확합니다. "GUI와 작동"이란 두 번 클릭한다는 의미입니까? 무엇을 두 번 클릭할까요? 일부 wxWidgets GUI 응용 프로그램? 아니면 IDLE?

그렇다면 "새로운 물리 시뮬레이션을 시작합니다"는 의미는 무엇입니까? 버튼을 다른 곳에서 클릭 하시겠습니까? 그들이 코드를 작성하는 패널을 불러오는 GUI 버튼? 아니면 그들이 줄을 쓴 스크립트를 가져 오나요?

시뮬레이션을 시작하기 전에 가져 오기가 왜 발생합니까? 시뮬레이션에 소요되는 시간은 얼마나됩니까? GUI는 무엇을 보여줍니까?

큰 수입을하는 데 훨씬 더 게으른 방법이 있다고 생각합니다. 그러나 설명에서 가져 오기가 사용자에게별로 중요하지 않은 시점이 있는지 판단하기가 어렵습니다.

스레드가별로 도움이되지 않습니다. UI 경험을 재고하는 데 도움이되는 것은 무엇입니까?

Answer 3

왜 앱을 시작할 때이 작업을 수행하지 않습니까?

def background_imports(): 
    import Traits 
    import Mayavi 

thread = threading.Thread(target=background_imports) 
thread.setDaemon(True) 
thread.start() 

Answer 4

일반적인 아이디어는 좋지만, 백그라운드 스레드 멀리 보내고 import 동안 파이썬/GUI 세션은 모두 응답하지 않을 수 있습니다; 안타깝게도 import은 필연적으로 필연적으로 파이썬을 실질적으로 "잠급니다"(이는 GIL이 아니라 가져 오기를위한 별도의 추가 잠금 기능입니다).

노력 여전히 가치가 조금 더 나은 일을 할 수있는로 - Queue의이 Queue의 put 및 get 외에, 본질적으로 스레드 안전하고 있기 때문에이 또한 매우 쉽다는 당신이 필요 기본적이다 __import__. 그래도 이것이 도움이되지 않으면 여전히 여분의 행동이 필요하다면 놀라지 마십시오.

본질적으로 매우 빠르지 만 제한된 공간 (예 : "RAM 드라이브"또는 특히 멋쟁이 솔리드 스테이트 드라이브)이있는 드라이브는 필요한 패키지를 .tar.bz2 (또는 다른 형식 (즉, 압축 파일의 압축을 풀고 프로그램을 시작할 때 빠른 드라이브에 압축을 풀면 (기본적으로 I/O이므로 은이 잘못 처리하지 않습니다.) I/O 작업이 GIL을 빠르게 해제합니다. tar xjf 등을 실행하는 하위 프로세스에 위임).

가져 오기 느림의 일부 .py/.pyc/.pyo 파일의 거대한 숫자에 의한 경우

, 그것은 (시도 그 ZipFile를 (단 .pyc 형태 , .py로 하지에) 거기에서 가져 오기를 유지하는 가치가 있지만, OS, 파일 시스템 및 드라이브에 따라 I/O 오버 헤드 만이 도움이됩니다. 거대한 DLL로드 또는 로드 시간에 초기화 코드를 실행하면 지연이 발생하지 않으므로 도움이되지 않습니다. 느림).

또한 응용 프로그램을 multiprocessing (다시 말하면 다중 처리 종류)을 사용하여 통신으로 분할하여 수입 및 일부 무거운 계산이 몇 가지 보조 프로세스로 위임되어 비동기 동시에 여러 코어를 완벽하게 활용할 수 있습니다). 아마도 불행히도 시각화 작업 (예 : mayavi로 작업하는 것과 같은 작업)을 제대로 처리하는 것이 어려울 수도 있지만 "순수한 무거운 계산"패키지 및 작업이있는 경우 도움이 될 것으로 생각됩니다.