2017-05-15 2 views
1

gensim 라이브러리를 사용하여 wiki-fasttext 모델을로드하려면 이 여섯 분이 걸립니다.load_word2vec_format을 사용하여 wiki-fasttext 모델을 더 빠르게로드하는 방법이 있습니까

모델을 캐시하는 방법을 알고 있지만 초기 모델 로딩 속도를 높이는 방법을 찾고 있습니다. 특정 API는 다음과 같습니다.

en_model = KeyedVectors.load_word2vec_format(os.path.join(root_dir, model_file)) 

매우 큰 모델이지만, 동일한 모델을 여러 언어로로드했습니다.

답변

2

파일에서 vector_num 워드 벡터에 대해 limit=vector_num 인수를 사용할 수 있습니다. 모든 벡터를로드하지는 않지만로드 프로세스의 속도를 높일 수 있습니다.

+0

분석하고자하는 데이터 집합에 포함되지 않은 영어 위키 백과를 기반으로하는 모델에서 워드 벡터를 제거하려고합니다. I. FastText 모델에서 벡터의 하위 집합을로드하려고합니다. 어떻게해야합니까? 모델을 반복하고 새 모델에 쓰면 유형이 파손됩니다. –

관련 문제