URL을 정규화/정규화 하시겠습니까?

Question

파이썬에서 경로를 "./"또는 "../"부분을 제거하거나 기본 포트를 추가하거나 특수 문자를 이스케이프 처리하는 등 라이브러리 함수를 검색하고 있습니다. 결과는 동일한 웹 페이지를 가리키는 두 URL에 대해 고유 한 문자열이어야합니다. 예를 들어 http://google.com과 http://google.com:80/a/../은 같은 결과를 반환합니다.

파이썬 3을 선호하고 이미 urllib 모듈을 살펴 보았습니다. URL 분할 기능을 제공하지만 표준화는 없습니다. 자바는 비슷한 것을하는 URI.normalize() 함수를 가지고있다. (기본 포트 80은 주어진 포트와 같지 않다.)하지만 파이썬 같은 것이 있는가? 이것에 대해

Answer 1

good start에 이어 웹에서 흔히 발견되는 대부분의 경우에 맞는 방법으로 작성했습니다.

def urlnorm(base, link=''): 
    '''Normalizes an URL or a link relative to a base url. URLs that point to the same resource will return the same string.''' 
    new = urlparse(urljoin(base, url).lower()) 
    return urlunsplit((
    new.scheme, 
    (new.port == None) and (new.hostname + ":80") or new.netloc, 
    new.path, 
    new.query, 
    '')) 

Answer 2

방법 :

In [1]: from urllib.parse import urljoin 

In [2]: urljoin('http://example.com/a/b/c/../', '.') 
Out[2]: 'http://example.com/a/b/' 

this question에 대한 답변에서 영감을. 포트를 표준화하지는 않지만, 기능을 수행하는 것은 간단해야합니다.

Answer 3

이것은 내가 사용하는 것으로 지금까지 효과가 있습니다. 핍에서 urlnorm을 얻을 수 있습니다.

쿼리 매개 변수를 정렬합니다. 나는 이것이 필수적이라는 것을 알았다.

from urlparse import urlsplit, urlunsplit, parse_qsl 
from urllib import urlencode 
import urlnorm 

def canonizeurl(url): 
    split = urlsplit(urlnorm.norm(url)) 
    path = split[2].split(' ')[0] 

    while path.startswith('/..'): 
     path = path[3:] 

    while path.endswith('%20'): 
     path = path[:-3] 

    qs = urlencode(sorted(parse_qsl(split.query))) 
    return urlunsplit((split.scheme, split.netloc, path, qs, '')) 

Answer 4

urltools 모듈은 http://에 이중 슬래시를 엉망으로하지 않고 여러 슬래시, . 및 .. 구성 요소를 정상화. 당신이 pip install urltools을하면 다음과 같이

이 사용은 다음과 같습니다 보조 노트와 같은 자원으로

print urltools.normalize('http://domain.com:80/a////b/../c') 
>>> 'http://domain.com/a/c'