파이썬 웹 크롤링 강의 코드 10줄로 네이버 검색 결과 가져오기 - beautifulsoup, requests 기초 사용법

파이썬 코드 딱 10줄만 사용하여 네이버 검색 결과를 가져오는 웹 크롤링 기초 강의입니다.
beautifulsoup, requests를 사용하며 웹 크롤링, 웹 스크래핑을 처음 하시는 분들이라도 따라 할 수 있는 입문 난이도로 되어있습니다.

일단, 뷰티풀수프를 처음 사용하신다면
pip install beautifulsoup4
pip install requests
위 명령어를 사용하여 패키지 설치를 합니다.

 

from bs4 import BeautifulSoup
import requests

base_url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query="

keyword = input("검색어를 입력하세요 : ")

search_url = base_url + keyword

r = requests.get(search_url)

soup = BeautifulSoup(r.text, "html.parser")

items = soup.select(".api_txt_lines.total_tit")

for e, item in enumerate(items, 1):
    print(f"{e} : {item.text}")

이 강의에서 사용하는 파이썬은 3.10.6 버전이며 편집기는 vscode입니다.
자세한 사용 방법은 아래 강의 영상을 참고 바랍니다.

https://youtu.be/5bB-R05pDcg