NLTK 라이브러리에서 Bigram을 가져올 수 없습니다.

Question

빠른 질문은 혼란 스럽습니다. NLTK가 설치되어 있고 정상적으로 작동합니다. 그러나 나는 코퍼스의 bigrams를 얻으려고 노력하고 기본적으로 bigrams (corpus)를 사용하고 싶습니다.하지만 "bigrams를 nltk에서 가져올 때"bigrams가 정의되지 않았다고 말합니다.

트라이 그램과 동일합니다. 내가 놓친 게 있니? 또한, 어떻게하면 수동으로 코퍼스에서 바이 그램을 얻을 수 있습니까?

나는 bigrams trigrams와 quads의 빈도를 계산하기를 원하지만 정확하게 이것에 대해 어떻게해야하는지 확실히 모릅니다.

처음에는 "<s>" 및 "</s>"으로 토큰 화 된 토큰이 있고 적절하게 끝납니다. 지금까지 여기에 프로그램 :

#!/usr/bin/env python 
import re 
import nltk 
import nltk.corpus as corpus 
import tokenize 
from nltk.corpus import brown 

def alter_list(row): 
    if row[-1] == '.': 
     row[-1] = '</s>' 
    else: 
     row.append('</s>') 
    return ['<s>'] + row 

news = corpus.brown.sents(categories = 'editorial') 
print len(news),'\n' 

x = len(news) 
for row in news[:x]: 
    print(alter_list(row)) 

Answer 1

나는 VIRTUALENV이 테스트 및 작동 :

In [20]: from nltk import bigrams 

In [21]: bigrams('This is a test') 
Out[21]: 
[('T', 'h'), 
('h', 'i'), 
('i', 's'), 
('s', ' '), 
(' ', 'i'), 
('i', 's'), 
('s', ' '), 
(' ', 'a'), 
('a', ' '), 
(' ', 't'), 
('t', 'e'), 
('e', 's'), 
('s', 't')] 

유일한 오류 당신이 얻고인가요? 두 번째 질문에 대한 같은 방식으로

:

from collections import Counter 
In [44]: b = bigrams('This is a test') 

In [45]: Counter(b) 
Out[45]: Counter({('i', 's'): 2, ('s', ' '): 2, ('a', ' '): 1, (' ', 't'): 1, ('e', 's'): 1, ('h', 'i'): 1, ('t', 'e'): 1, ('T', 'h'): 1, (' ', 'i'): 1, (' ', 'a'): 1, ('s', 't'): 1}) 

단어 :

In [49]: b = bigrams("This is a test".split(' ')) 

In [50]: b 
Out[50]: [('This', 'is'), ('is', 'a'), ('a', 'test')] 

In [51]: Counter(b) 
Out[51]: Counter({('is', 'a'): 1, ('a', 'test'): 1, ('This', 'is'): 1}) 

단어로이 분할은 분명히 매우 피상적이지만 충분하다 응용 프로그램에 따라입니다. 분명히 훨씬 더 정교한 nltk의 토큰 화를 사용할 수 있습니다. 불필요하게 큰 이었기 때문에

In [56]: d = "Lorem Ipsum is simply dummy text of the printing and typesetting industry. Lorem Ipsum has been the industry's standard dummy text ever since the 1500s, when an unknown printer took a galley of type and scrambled it to make a type specimen book. It has survived not only five centuries, but also the leap into electronic typesetting, remaining essentially unchanged. It was popularised in the 1960s with the release of Letraset sheets containing Lorem Ipsum passages, and more recently with desktop publishing software like Aldus PageMaker including versions of Lorem Ipsum." 

In [56]: from nltk import trigrams 
In [57]: tri = trigrams(d.split(' ')) 

In [60]: counter = Counter(tri) 

In [61]: import random 

In [62]: random.sample(counter, 5) 
Out[62]: 
[('Ipsum', 'has', 'been'), 
('industry.', 'Lorem', 'Ipsum'), 
('Ipsum', 'passages,', 'and'), 
('was', 'popularised', 'in'), 
('galley', 'of', 'type')] 

내가 출력을 손질,하지만 당신은 아이디어를 얻을 : 최종 목표를 달성하기 위해

, 당신은 그런 식으로 뭔가를 할 수 있습니다.