파이썬 독학 웹 크롤링 멜론 TOP100 실시간 차트 순위 검색 결과 가져오기 - beautifulsoup, requests 기초 사용법

파이썬 beautifulsoup와 requests를 사용하여 멜론 TOP100에 올라와 있는 차트 순위 곡이름, 가수명, 앨범명을 1위부터 100위까지 전부 가져오는 웹크롤링 독학 실습 영상입니다.

이 강의에서는 자손 태그와 자식 태그를 선택하는 방법, beautifulsoup에서 text와 string의 사용법과 차이점을 배울 수 있습니다.

 

from bs4 import BeautifulSoup
import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36"
}

url = "https://www.melon.com/chart/index.htm"

r = requests.get(url, headers=headers)

print(r.raise_for_status)

html = r.text

soup = BeautifulSoup(html, "html.parser")

lst50 = soup.select(".lst50")

lst100 = soup.select(".lst100")

lst = lst50 + lst100

print(len(lst))

for e, i in enumerate(lst, 1):
    print(f"<<{e}위>>")
    title = i.select_one(".ellipsis.rank01 a")
    print(title.text)

    singers = i.select(".ellipsis.rank02 > a")
    for singer in singers:
        print(singer.text)

    album = i.select_one(".ellipsis.rank03 > a")
    print(album.text)

    print()

강의에서 사용하는 파이썬은 3.10.6 버전이며 편집기는 vscode입니다.
사용하는 패키지는 beautifulsoup, requests입니다.

 

자세한 사용법은 아래 강의 영상을 참고 바랍니다.
https://youtu.be/-oS3ItSbTcc