scikit learn과 count vectorizer에서 ngram을 생성합니다. 메모리 오류

Question

scikit-learn을 사용하여 여러 텍스트 문서에서 ngrams을 작성합니다. 도큐멘트 번호을 countVectorizer을 사용하여 구축해야합니다.

예 : 나는 데이터의 엄청난 양의 시도 할 때

document1 = "john is a nice guy" 

document2 = "person can be a guy" 

그래서, 문서 주파수 여기

{'be': 1, 
'can': 1, 
'guy': 2, 
'is': 1, 
'john': 1, 
'nice': 1, 
'person': 1} 

문서는 단지 문자열 수 있지만 것입니다. MEMORY ERROR가 발생합니다.

코드 :

import numpy as np 
from sklearn.feature_extraction.text import CountVectorizer 
document = [Huge amount of data around 7MB] # ['john is a guy', 'person guy'] 
vectorizer = CountVectorizer(ngram_range=(1, 5)) 
X = vectorizer.fit_transform(document).todense() 
tranformer = vectorizer.transform(document).todense() 
matrix_terms = np.array(vectorizer.get_feature_names()) 
lst_freq = map(sum,zip(*tranformer.A))   
matrix_freq = np.array(lst_freq) 
final_matrix = np.array([matrix_terms,matrix_freq]) 

ERROR : 당신이 조밀 한 형식으로 대형 스파 스 매트릭스를 변환 할 때 코멘트가 언급 한 것처럼

Traceback (most recent call last): 
    File "demo1.py", line 13, in build_ngrams_matrix 
    X = vectorizer.fit_transform(document).todense() 
    File "/usr/local/lib/python2.7/dist-packages/scipy/sparse/base.py", line 605, in todense 
    return np.asmatrix(self.toarray(order=order, out=out)) 
    File "/usr/local/lib/python2.7/dist-packages/scipy/sparse/compressed.py", line 901, in toarray 
    return self.tocoo(copy=False).toarray(order=order, out=out) 
    File "/usr/local/lib/python2.7/dist-packages/scipy/sparse/coo.py", line 269, in toarray 
    B = self._process_toarray_args(order, out) 
    File "/usr/local/lib/python2.7/dist-packages/scipy/sparse/base.py", line 789, in _process_toarray_args 
    return np.zeros(self.shape, dtype=self.dtype, order=order) 
MemoryError 

Answer 1

, 당신은 메모리 문제로 실행중인 .

import numpy as np 
from sklearn.feature_extraction.text import CountVectorizer 
document = [Huge amount of data around 7MB] # ['john is a guy', 'person guy'] 
vectorizer = CountVectorizer(ngram_range=(1, 5)) 

# Don't need both X and transformer; they should be identical 
X = vectorizer.fit_transform(document) 
matrix_terms = np.array(vectorizer.get_feature_names()) 

# Use the axis keyword to sum over rows 
matrix_freq = np.asarray(X.sum(axis=0)).ravel() 
final_matrix = np.array([matrix_terms,matrix_freq]) 

편집 :이 같은 시도는 주파수 용어에서 사전을 원하는 경우, fit_transform를 호출 한 후이 시도 :

terms = vectorizer.get_feature_names() 
freqs = X.sum(axis=0).A1 
result = dict(zip(terms, freqs))