URL Regex Matcher (Idea)

Question

URL을 찾는 데 간단한 정규식을 만든 다음 해당 사이트에서 데이터를 다시 전송하는지 아닌지 확인하는 것이 더 쉬울까요? 저는 이것이 "며칠 후에"정규식을 검색하는 "완벽한"URL을 개발하는 것보다 빠르고 더 쉬운 해결책 일지 궁금해했습니다.

누구나 기본 페이지 액세스 /로드 속도 테스트를 찾을 수 있으면 여기에 질문을 올리십시오.

또한 서버에서이 요청을 지속적으로 만드는 것이 얼마나 힘든지, 말하자면 ... 시간당 100 번?

자바 스크립트으로 테스트 할 예정이며, /(http|www\.)\S+/gim을 정규식으로 사용하고 요청한 URL에 60 초 제한 시간 연결을 사용합니다. 나는 간단히 "Title Grab"을 url에서으로하고, 재판이 얼마나 오래 걸리는지 기록합니다. 나는 일단 속도를 올리면 나는 그들 모두를 좋아하게된다.

이 정말 더 이상 질문을 많이하지 않습니다, 그래서 당신은 정말 내 위의 아이디어 나 도움이 아무것도 찾을 경우이 "질문에 대한 gloried 대답 체크 표시를받을 수 있습니다.

Answer 1

을 나는 생각 예를 들어, URL http://bclennox.com/there-is-no-page-at-this-address은 아마도 URL을 의 유효성이 의 URL에있는 자원의 존재과 구별되는 것입니다. 유효한 URL은 현재 자원을 가리킬 수 없습니다. 예를 들어, URL http://bclennox.com/there-is-no-page-at-this-address은 404를 반환하며 아마도 실패합니다 완벽하게 유효한 URL이지만 테스트를 완료하십시오.

어쨌든 주어진 URL에 대해 반환되는 HTTP 상태에 주로 관심이 있다면 정상적인 GET 대신 HTTP HEAD 요청 만 할 수 있습니다. HEAD는 훨씬 작은 페이로드 (헤더 만)를 반환하므로 요청 속도가 상당히 빨라야합니다.

여기 curl를 사용하는 예제입니다 :

그것은 당신이 찾을 예정, 그리고 당신이, 또는 다운되었을 수 있습니다 원격 웹 서버의 응답 (대기 기꺼이 시간을 얼마나 많은 URL을에 따라

$ curl -I http://bclennox.com 
HTTP/1.1 200 OK 
Date: Thu, 15 Mar 2012 03:14:59 GMT 
Server: Apache 
X-Powered-By: Phusion Passenger (mod_rails/mod_rack) 3.0.9, Enterprise Edition 
ETag: "39cf7d1099a034de95dda297b18bfa2d" 
X-UA-Compatible: IE=Edge,chrome=1 
X-Rack-Cache: miss 
X-Runtime: 0.139410 
X-Request-Id: 50ce319e403ef4e6e468c2f4b9817691 
Cache-Control: max-age=0, private, must-revalidate 
Set-Cookie: _master_session=BAh7ByIQX2NzcmZfdG9rZW4iMWZhM0t1dTZiNjVWV1Q3YzlKVTZmdjRwK0FiWlpHUExVWXJnRlovd2R5aU09Ig9zZXNzaW9uX2lkIiU3YWEzZmNhYmYzYTQ2MDgwNTY5ZmU5MjhlNWU3ZDhmMA%3D%3D--c0f8c2bd6cccb1ff12f28da996dddbb50e448f1f; path=/; HttpOnly 
Status: 200 
Content-Type: text/html; charset=utf-8