어느 쪽이 더 효율적입니까? 내 DB를 치거나 여분의 웹 크롤링을 수행하고 배열을 치는 중 어느 것입니까?

Question

웹 크롤러에서 원하는 특정 정보를 찾고 반환합니다. 이것은 매일 실행됩니다.

문제점은 내 크롤러가 두 가지 작업을 수행해야한다는 것입니다.

1. 크롤링해야하는 링크를 가져옵니다.
2. 해당 링크를 크롤링하고 DB에 푸시합니다.

# 1 문제는 총 700 개가 넘는 링크입니다. 이러한 링크는 매우 자주 변경되지 않습니다 - 한 달에 한 번?

하나의 옵션은 '링크 목록'에 대해 한 달에 한 번씩 별도의 크롤링을 수행하고 링크를 db로 덤프하는 것입니다.

그런 다음 매일 700 개의 링크 각각에 대해 크롤러가 db hit를 수행하게하십시오.

또는 크롤러 내에서 크롤링을 중첩 할 수 있습니다. 크롤러가 매주 실행될 때마다 (일별)이 700 개의 URL 목록을 업데이트하고 배열에 저장하고이 배열에서 가져옵니다. 각 링크를 크롤링합니다.

Heroku 또는 어느 호스트에 대해 더 효율적이며 세금이 적습니까?

Answer 1

"효율"과 "과세"를 측정하는 방법에 따라 다르지만 로컬 데이터베이스 조회는 HTTP 요청 + 링크에 대한 응답 구문 분석보다 빠르고 빠르다는 것이 거의 확실합니다.

더 중요하지는 않지만 데이터베이스 및 어댑터가이를 지원한다고 가정하면 DB 요청 결과를 반복하고 전체 세트를 메모리로 가져 오거나 가져 오지 않고 처리 할 수 ​​있습니다.

네트워크 대기 시간과 리소스는 이미 이미 앉아 있고 실행 중이며 효율적으로 신속하게 쿼리 할 수 ​​있도록 설계된 DB를 파킹하는 것보다 훨씬 나 빠지게됩니다.

그러나 하루에 한 번? 이 작업을 최적화하기 위해 어떤 에너지를 소비해야 할 충분한 이유가 있습니까?