여러 URL을 읽고 단어 (영숫자 만 포함해야 함) 빈도 표

Question

나는 여러 URL을 읽고 단어 (단어는 A-Za-z0-9 문자 만 포함)를 생성하는 파이썬 프로그램을 작성하고 있습니다. . 출력이 내가 지금까지 무엇을 가지고

url2.txt, url1.txt 이름을 가진 파일에 저장 될 수있다

import urllib2 
import obo 

url = 'sample url' 

response = urllib2.urlopen(url) 
html = response.read() 
text = obo.stripTags(html).lower() 
wordlist = obo.stripNonAlphaNum(text) 


for s in sorteddict: 
    print str(s) 

Answer 1

쉽게 텍스트를 추출 할 boilerpipe를 사용할 수 있습니다 https://github.com/misja/python-boilerpipe를.

from boilerpipe.extract import Extractor 
from collections import Counter 

urls = ['url1', 'url2', ... ] # A list of the urls you want to fetch 
# Ask boilerpipe to fetch the data 
extractors = [Extractor(extractor='ArticleExtractor', url=url) for url in urls] 
# Ask boilerpipe to extract the text 
raw_texts = [extractor.getText() for extractor in extractors] 
# count the occurrences of words in each text 
word_counts = [Counter(text.split(" ")) for text in raw_texts]