템플릿 구동 피드 파싱

Question

요구 사항 : 다양한 형식 (Atom, 유효한 XML, 유효하지 않은 XML, CSV, 거의 쓰레기 등)으로 여러 소스의 데이터 피드를 구문 분석하고 결과 데이터를 삽입하는 python 프로젝트가 있습니다. 데이터베이스로. 캐치는 각 피드를 구문 분석하는 데 필요한 정보도 데이터베이스에 저장해야합니다.

현재 해결 방법 : 이전 솔루션은 원시 데이터에 평가되는 작은 파이썬 스크립트를 저장하고 파싱 된 데이터에 대한 데이터 개체를 반환하는 것이 었습니다. 나는이 방법으로 벗어나고 싶다. 분명히 불쾌한 보안 구멍을 열게된다.

이상 해결책 : 제가 찾고있는 것은 제가 피드 형식에 대한 템플릿 파일을 작성할 수 있도록 파이썬 용 템플릿 기반 피드 파서로 설명 할 것이고이 템플릿 파일은 다양한 데이터 형식을 이해하는 데 사용됩니다.

저는 과거에 이와 같은 것을 찾는데 제한된 성공을 거두었으며 누군가가 좋은 제안을하기를 희망했습니다.

감사합니다.

Answer 1

eval 스크립트 대신, 패키지를 만드는 것이 좋습니다. CSV 구문 분석은 형식이 단순하고 규칙적이어서 XML을 구문 분석하려면 완전히 다른 접근 방식이 필요합니다. 하나 하나의 파서를 처음부터 작성하는 것을 원하지 않는다면, 각각이 동일한 API를 사용하고 사용하는 작은 모듈을 작성하지 않는 이유는 무엇입니까? 필자는 파이썬 자체를 사용하여 (일부 템플릿 DSL이 아닌) 이런 종류의 작업에 이상적이라고 생각합니다.

메인 프로그램 :

... 
def import_plugin(name): 
    mod = __import__(name) 
    components = name.split('.') 
    for comp in components[1:]: 
     mod = getattr(mod, comp) 
    return mod 

... 
feed_parser = import_plugin('parsers.%s' % feed['format']) 
data = feed_parser(...) 
... 

parsers/csv.py :

#!/usr/bin/python 
from __future__ import absolute_import 

import urllib2 
import csv 

def parse_feed(...): 
    ... 

당신이 돈이 '예를 들어

이 내가 사용하고 하나 small torrent-fetching script에서 본 적이 접근이다 특히 동적으로로드 된 모듈과 같이, 여러 파스 (parse) 클래스를 가진 하나의 모듈을 작성하는 것을 고려할 수 있습니다 (아마도 "추상 파서"기반 cl 나귀).

class BaseParser(object): 
    ... 

class CSVParser(BaseParser): 
    ... 
register_feed_parser(CSVParser, ['text/plain', 'text/csv']) 
... 

parsers = get_registered_feed_parsers(feed['mime_type']) 
data = None 
for parser in parsers: 
    try: 
     data = parser(feed['data']) 
     if data is not None: break 
    except ParsingError: 
     pass 
...