0
누구나 오픈 소스 URL 동기화/다운로드 엔진을 알고 있는지 또는 내 자신의 글을 작성하게 될지 궁금합니다.스마트 URL 동기화/다운로드 엔진 사용 가능한 오픈 소스?
예상 기능 : - HTTP URL을 일반 목록을 제공가 로컬 디스크 저장 에 동기화 할 수 - 엔진이 효율적으로 (변화를 확인하기 위해 HEAD 요청을)하고 효과적으로 동기화 URL의 내용을 처리합니다 (모두 다운로드하여 수행 GZIP 압축) - 자주 변경되는 URL을 인식하여 beahvior를 최적화하는 것이 현명합니다.
누군가 이러한 엔진의 유사 구현을 알고 있습니까? 바람직하게는 Perl?