파이썬 구글 크롤링 selenium(셀레니움), beautifulsoup 자바스크립트 웹스크래핑

파이썬 구글 크롤링 selenium(셀레니움), beautifulsoup 자바스크립트 웹스크래핑

파이썬으로 구글 사이트 검색결과를 크롤링하는 강의입니다. selenium(셀레니움)과 beautifulsoup를 사용하여 구글 검색결과를 스크래핑하여 출력하는 예제로 자바스크립트로 되어있는 사이트를 selenium(셀레니움)을 사용하여 크롤링 하는 방법을 배울 수 있습니다.

-파이썬 웹 크롤링 예제-
파이썬 beautifulsoup 크롤링 예제 네이버 블로그 검색결과 크롤러 만들기
https://youtu.be/hKApZHK_fOQ

파이썬 크롤링 예제 네이버 이미지 검색결과 한번에 다운로드 프로그램
https://youtu.be/_wRTyQYjHcg

파이썬 인스타그램 크롤링 이미지 다운로드 beautifulsoup selenium 사용법
https://youtu.be/j_BW5vNrcxA

파이썬 여러페이지 크롤링 네이버 블로그 검색결과 웹스크래핑
https://youtu.be/8Sz8Ek46qGI

파이썬 크롤링 csv 파일저장 방법 네이버 모바일 검색결과 웹스크래핑
https://youtu.be/ASFa0Rh4OMw

유튜브 김플 스튜디오에 방문하시면 더 많은 파이썬 강의를 보실수 있습니다.

프로그래머 김플 스튜디오 유튜브 Go!

# 소스코드 - 자세한 사용법은 유튜브 영상을 참조하세요.
# 영상 제작 날짜 기준의 코드입니다. 이후 사이트 구조가 달라지거나 기타 이유로 작동하지 않을 수 있습니다.
from urllib.parse import quote_plus
from bs4 import BeautifulSoup
from selenium import webdriver

baseUrl = 'https://www.google.com/search?q='
plusUrl = input('무엇을 검색할까요? :')
url = baseUrl + quote_plus(plusUrl)

driver = webdriver.Chrome()
driver.get(url)

html = driver.page_source
soup = BeautifulSoup(html)

r = soup.select('.r')
for i in r:
    print(i.select_one('.ellip').text)
    print(i.select_one('.iUh30.bc').text)
    print(i.a.attrs['href'])
    print()

driver.close()