나는 웹 사이트를 크롤링하는 앱을 만들었습니다. here - http://crawler.javaignite.com/검색 엔진을위한 데이터베이스 디자인?
나는 모든 상대 URL을 가지며 제목을 포함한 메타 키워드와 설명이 있습니다.
하지만이 테이블의 데이터를 저장하고 싶습니다. & 검색 엔진 저장 데이터 및 검색 방법에 대한 기본 아이디어가 없기 때문에 기본 스키마를 만들 수 있습니다.
나는 이것을 만들려고했지만 더 많은 개선이 필요하다.
website_id
website_url [root]
website_visitperiod // no of days to revisit
테이블 website_mst : 기본적으로 난 단지 세 개의 테이블
테이블을 사용 crawled_history을
는
crawled_id PK
website_id FK [ref. website_mst]
crawled_url
crawled_datetime
테이블 : crawled_page
는 메타와 설명을 포함
crawled_id FK [ref. crawled_history]
meta_title
meta_keyword
meta_description
total_viewed
updated_on