파이썬 셀레늄 페이지를

Question

을 가입하기 위해 URL을 리디렉션되고 나는 다음과 같은 코드가 있습니다

> from selenium import webdriver 
> browser = webdriver.Chrome(executable_path = 
r"C:\Users\ABC\AppData\Local\Programs\Python\Python35-32\Lib\site-packages\selenium\webdriver\common\chromedriver.exe") 
> browser.get('http://www.linkedin.com/pub/dir/?first=jatin&last=wadhwa&trk=prof-samename-search-submit') 
> print (browser.page_source) 

무슨 일이 난에도 불구 열려있다 ->

-을은 것입니다> http://www.linkedin.com/pub/dir/?first=jatin&last=wadhwa&trk=prof-samename-search-submit

https://www.linkedin.com/start/join?session_redirect=http%3A%2F%2Fwww.linkedin.com%2Fpub%2Fdir%2F%3Ffirst%3Djatin%26last%3Dwadhwa%26trk%3Dprof-samename-search-submit&source=sentinel_org_block&trk=login_reg_redirect

리디렉션 된 것이 아닌 원하는 링크가 열리도록하는 솔루션은 무엇입니까?

Answer 1

링크드 인은 로그인하지 않고 페이지를 검색하지 않습니다. 먼저 linkedin에 로그인하면 데이터를 스크래핑 할 수 있습니다.

browser.get('https://www.linkedin.com/') 
elem = browser.find_element_by_name('session_key') 
elem.clear() 
elem.send_keys(email_id) # enter your email id or phone number 

elem = browser.find_element_by_name('session_password') 
elem.clear() 
elem.send_keys(password) # enter your linkedin password 

submit = browser.find_element_by_xpath('//*[@id="pagekey-uno-reg-guest-home"]/div[1]/div/form/input[6]') 
actions = ActionChains(browser) 
actions.click(submit) 
actions.perform() # after this you will be login 

# Now you can open url without redirecting 

browser.get(`'http://www.linkedin.com/pub/dir/?first=jatin&last=wadhwa&trk=prof-samename-search-submit')` 

Answer 2

너무 빠르게 크롤링하는 경우 가입 페이지로 연결됩니다.

각 http 요청 사이에 임의의 시간 동안 대기하는 것이 좋습니다.

쿠키를 삭제해도 문제가되지 않습니다.