nltk에서 모든 자료를 다운로드 할 때 단점이 있습니까?

Question

서버 공간이 제약 조건이 아니라고 가정 할 때, 전체 선택이 아니라 선택형 자료를 다운로드하는 것이 좋습니다.

나는 virtualenv의 특정 작업 .e.g 생성시 추가 될 것이라고 알고 있습니다.

그러나 선택 카탈로그를 다운로드했거나 모두 다운로드 한 경우 성능 차이가 있습니까?

Answer 1

간단한 대답은 no

가 NLTK이 필요할 때까지로드되지 않은 말뭉치에 대한 LazyCorpusLoader라는 클래스를 사용합니다. 따라서 코퍼스를 가져 오더라도 즉시 메모리에로드되지 않습니다. 갈색 코퍼스와 예를 들어

:

메모리 사용에 관해서는

>>> from nltk import corpus 
>>> type(corpus.brown) 
<class 'nltk.corpus.util.LazyCorpusLoader'> 

메모리 사용

의 말뭉치 못해 읽기까지로드 할 수. 우리는 resource 모듈을 사용하여 이것을 볼 수 있습니다. 다음은 갈색 코퍼스의 예입니다.

>>> import resource 
>>> from nltk import corpus 
>>> 
>>> # show memory used after importing corpus 
... 
>>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss 
77780 
>>> # show memory usage after import ALL corpuses 
... 
>>> from nltk.corpus import * 
>>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss 
77780 

여기서 알 수 있듯이 메모리 사용에는 변화가 없습니다. 당신이 메모리에 코퍼스 데이터를로드 한 후 그것은 단지 기본 다운로드 ~/nltk_data/corpora에 시스템과 같은 유닉스에 말뭉치 데이터에 의해 tagged_sents()

>>> sents = corpus.brown.tagged_sents() 
>>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss 
78276 

공간 사용

NLTK를 호출하여이 예에서 증가 할 것이다. 이 답변을 작성하면 모든 자료를 최신으로 다운로드해야합니다.

크기에 대한 빠른 검사는 보여줍니다

$ du -sh ~/nltk_data/corpora/ 
8.5G ~/nltk_data/corpora/ 

난 당신이 해당 서버 공간 제약이 아니라 인해 LazyCorpusLoader에, 당신은 계정에 복용에 관심이있을 수 있습니다 언급 알고있다.

Answer 2

코퍼스가 독립적이고 각기 별도로로드해야하기 때문에 차이가 있다고 생각하지 않습니다. 원하면 모두 다운로드 할 수 있습니다.

물론 모든 항목에 대해 와일드 카드 가져 오기을 만들지 않을 것이라는 가정이 있습니다.