웹 페이지에서 피드 추출

Question

이 페이지와 관련된 모든 피드 (RSS, 원자 등)를 추출하는 코드 스 니펫 (여기서는 언어가 중요하지 않음)을 찾고 있습니다.

그래서 입력은 URL이고 출력은 list of channels입니다.

페이지가 일부 정보 채널과 연결된 경우 중요 함을 의미합니다. 을 찾아야합니다.

나는 HTML 코드에서 무엇을 찾을 지, 어디에서 완전성을 찾아야 하는지를 묻고 있습니다.

는

Answer 1

당신은 HTML 파일에 head 태그 피드를 찾아 주셔서 감사합니다. 여기에는 연관된 콘텐츠 형식과 해당 위치를 지정하는 href 특성이있는 link 태그로 지정해야합니다.

는이 같은 것을 사용할 수 파이썬을 사용하여 페이지에서 모든 피드 URL을 추출하려면 : 당신은 모든 기발한 방법에게 피드를 포함 할 경우 비록

import urllib 
from HTMLParser import HTMLParser 

class FeedParser(HTMLParser): 

    def __init__(self, *args, **kwargs): 
     self.feeds = set() 
     HTMLParser.__init__(self, *args, **kwargs) 

    def handle_starttag(self, tag, attrs): 
     if tag == 'link': 
      try: 
       href = [attr[1] for attr in attrs if attr[0] == 'href'][0] 
      except IndexError: 
       return None   
      else: 
       if ('type', 'application/atom+xml') in attrs or ('type', 'application/rss+xml') in attrs: 
        self.feeds.add(href)  


def get_all_feeds_from_url(url): 
    f = urllib.urlopen(url) 
    contents = f.read() 
    f.close() 

    parser = FeedParser() 
    parser.feed(contents) 
    parser.close() 

    return list(parser.feeds) 

이 코드는 상당히 확장되어야 할 것이다 HTML 페이지에 추가 할 수 있습니다.