파이썬 beautifulsoup, requests 사용법 - 네이버 웹 크롤링 코드 20줄로 view 탭 검색 결과 자세히 가져오기

20줄 정도의 파이썬 코드를 사용하여 네이버 view 탭 검색 결과에서 다양한 정보를 가져오는 웹 크롤링 강의입니다.

파이썬 웹 크롤링 코드 10줄로 네이버 검색 결과 가져오기의 코드를 업그레이드하는 형식으로 진행되며 초보자들도 따라 하기 쉽게 설명합니다.

영상을 보고 나면 크롤링 한 페이지에서 원하는 특정 데이터만 스크래핑하고 필요 없는 부분은 걸러내는 기본적인 방법도 알 수 있게 됩니다.

 

from bs4 import BeautifulSoup
import requests

base_url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query="

keyword = input("검색할 키워드를 입력하세요 : ")

search_url = base_url + keyword

r = requests.get(search_url)

soup = BeautifulSoup(r.text, "html.parser")

items = soup.select(".total_wrap.api_ani_send")

for rank_num, item in enumerate(items, 1):
    print(f"<<{rank_num}>>")
    ad = item.select_one(".link_ad")
    if ad:
        print("광고입니다.")
        continue

    blog_title = item.select_one(".sub_txt.sub_name").text
    print(f"{blog_title}")

    post_title = item.select_one(".api_txt_lines.total_tit._cross_trigger")
    print(f"{post_title.text}")

    print(f"{post_title.get('href')}")
    print(f"{post_title['href']}")

    print()

이 강의에서 사용하는 파이썬은 3.10.6 버전이며 편집기는 vscode입니다.

사용하는 패키지는 beautifulsoup, requests입니다.

자세한 방법은 아래 유튜브 강의를 참고 바랍니다.
https://youtu.be/XVaC4prLsrY