django에서 sqlite3을 채우는 방법?

Question

웹 사이트의 데이터를 일괄 적으로 수집하는 계획입니다 (각 회사의 웹 사이트에있는 변호사의 바이오스, 모두 다르기 때문에 각 사이트에 대해 수정 된 스파이더를 사용합니다). 그리고 각 배치를 CSV 파일로 변환하십시오. 다음 json; 데이터베이스에로드하십시오. 그래서 각각의 새 파일을 기존 데이터베이스에 추가해야합니다. 이 작업을 가장 좋은 방법으로 수행하는 방법을 알려주십시오. 감사.

Answer 1

데이터베이스를 직접로드하면됩니다. 웹 사이트에서 일괄 적으로 데이터를 수집하고 SQlite3를 직접로드합니다. Django ORM을 사용하는 간단한 배치 응용 프로그램을 작성하십시오. 웹 사이트에서 데이터를 수집하고 즉시 SQLite3을로드하십시오. CSV를 만들지 마십시오. JSON을 만들지 마라. 중간 결과를 만들지 마십시오. 추가 작업을하지 마십시오.

---

편집.

from myapp.models import MyModel 
import urllib2 

with open("sourceListOfURLs.txt", "r") as source: 
    for aLine in source: 
     for this, the, the_other in someGenerator(aLine): 
      object= MyModel.objects.create(field1=this, field2=that, field3=the_other) 
      object.save() 

def someGenerator(url): 
    # open the URL with urllib2 
    # parse the data with BeautifulSoup 
    yield this, that, the_other