https://www.udemy.com/courses/search/?q=sql&src=ukw&lang=en에서 모든 링크를 긁어 내려고했지만 요소를 선택하지 않아도 코드에서 링크를 검색하지 않습니다. 아래 내 코드를 참조하십시오. 데이터를 가져 자바 스크립트Webscraping - Python - html에서 링크를 찾을 수 없습니다.
import bs4,requests as rq
Link = 'https://www.udemy.com/courses/search/?q=sql&src=ukw&lang=en'
RQOBJ = rq.get(Link)
BS4OBJ = bs4.BeautifulSoup(RQOBJ.text)
print(BS4OBJ)
웹 사이트의 사용은, 당신은 인쇄됩니다,이 코드는
from selenium import webdriver
from bs4 import BeautifulSoup
import time
baseurl='https://www.udemy.com'
url="https://www.udemy.com/courses/search/?q=sql&src=ukw&lang=en"
driver = webdriver.Chrome()
driver.maximize_window()
driver.get(url)
time.sleep(5)
content = driver.page_source.encode('utf-8').strip()
soup = BeautifulSoup(content,"html.parser")
courseLink = soup.findAll("a", {"class": "card__title",'href': True})
for link in courseLink:
print baseurl+link['href']
driver.quit()
도움이 될 것입니다
당신이 페이지에 코스의 링크를 원하는 희망 셀레늄을 사용해야합니다
https://www.udemy.com/the-complete-sql-bootcamp/
https://www.udemy.com/the-complete-oracle-sql-certification-course/
https://www.udemy.com/introduction-to-sql23/
https://www.udemy.com/oracle-sql-12c-become-an-sql-developer-with-subtitle/
https://www.udemy.com/sql-advanced/
https://www.udemy.com/sql-for-newbs/
https://www.udemy.com/sql-for-marketers-data-analytics-data-science-big-data/
https://www.udemy.com/sql-for-punk-analytics/
https://www.udemy.com/sql-basics-for-beginners/
https://www.udemy.com/oracle-sql-step-by-step-approach/
https://www.udemy.com/microsoft-sql-for-beginners/
https://www.udemy.com/sql-tutorial-learn-sql-with-mysql-database-beginner2expert/
가져올 링크가 무엇입니까? 어떤 예를 들어, 나는 귀하의 코드를 시도하고 그것은 많은 HTML 문자열을 다시 제공하고 그것은 좋은 것 같습니다 – linpingta
죄송합니다, 나는 아주 명확하지 않았습니다. 나는 물론 그렇게 링크가 좋겠어 ... https : //www.udemy .com/the-complete-sql-bootcamp/etc – Krishn
그래, 불행히도, 웹 사이트가 동적으로 생성된다는 것은 아약스를 사용하여 부분 HTML 콘텐츠를 생성함으로써 간단한 웹 크롤링을 금지한다는 것을 의미한다. 크롤러가 아닌 다른 사용자를 방문하는 CasperJs를 사용해 볼 수도 있습니다. Facebook 팬 페이지에 대한 예가 하나 있습니다. https://github.com/linpingta/facebook-related/tree/master/facebook-fan-page-fetcher – linpingta