김플 스튜디오

파이썬 beautifulsoup와 requests를 사용하여 멜론 TOP100에 올라와 있는 차트 순위 곡이름, 가수명, 앨범명을 1위부터 100위까지 전부 가져오는 웹크롤링 독학 실습 영상입니다. 이 강의에서는 자손 태그와 자식 태그를 선택하는 방법, beautifulsoup에서 text와 string의 사용법과 차이점을 배울 수 있습니다. from bs4 import BeautifulSoup import requests headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36" } url = "https://ww..

파이썬 셀레니움(selenium)은 웹페이지 자동화, 동적 페이지 크롤링, 스크래핑을 할 때 주로 사용합니다. 이 강의에서는 selenium3에서 selenium4로 버전업되며 바뀐 find_element 문법에 대해 설명합니다. 셀레니움3에서는 아래의 방법으로 html 요소를 찾았다면 driver.find_element_by_class_name("") driver.find_element_by_id("") driver.find_element_by_css_selector("") driver.find_element_by_name("") driver.find_element_by_tag_name("") driver.find_element_by_xpath("") driver.find_element_by_link_..

파이썬 셀레니움(selenium)과 뷰티풀수프(beautifulsoup)를 사용하여 네이버 크롤링 하는 예제 강의입니다. 원하는 키워드로 네이버 view 탭에 접속한 다음 스크롤 하여 원하는 만큼의 검색 결과를 스크래핑합니다. ​ 이 강의에서 사용하는 파이썬은 3.10.6 버전이며 편집기는 vscode입니다. 사용하는 패키지는 beautifulsoup, selenium입니다. from bs4 import BeautifulSoup from selenium import webdriver import time base_url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query=" keyword = input("검색어를 입력하세요 : ") ..

20줄 정도의 파이썬 코드를 사용하여 네이버 view 탭 검색 결과에서 다양한 정보를 가져오는 웹 크롤링 강의입니다. 파이썬 웹 크롤링 코드 10줄로 네이버 검색 결과 가져오기의 코드를 업그레이드하는 형식으로 진행되며 초보자들도 따라 하기 쉽게 설명합니다. 영상을 보고 나면 크롤링 한 페이지에서 원하는 특정 데이터만 스크래핑하고 필요 없는 부분은 걸러내는 기본적인 방법도 알 수 있게 됩니다. from bs4 import BeautifulSoup import requests base_url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query=" keyword = input("검색할 키워드를 입력하세요 : ") search_url = b..

웹 크롤링, 웹페이지 자동화를 하다 보면 pc버전의 웹페이지보다 모바일 버전이 더 쉬운 경우가 있습니다. 이 강의에서는 파이썬 셀레니움 웹 드라이버를 사용하여 웹 크롤링, 웹페이지 자동화를 할 때 모바일 버전으로 웹사이트에 접속하는 방법에 대해 설명합니다. from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager options = Options() # 1 mobile_emulation = {"deviceName": ..

파이썬 셀레니움 웹드라이버 내 크롬 정보 그대로 사용하는 방법(https://youtu.be/xCHPlFFZRoM)에 이어지는 강의로 내가 사용하던 크롬에서 설정된 기타 프로필을 사용하는 방법에 대한 내용입니다. 우선, 크롬을 열고 내가 사용하고 싶은 기타 프로필로 변경합니다. 그다음 주소창에 chrome://version를 입력하여 프로필 경로를 확인합니다. from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager..

파이썬 코드 딱 10줄만 사용하여 네이버 검색 결과를 가져오는 웹 크롤링 기초 강의입니다. beautifulsoup, requests를 사용하며 웹 크롤링, 웹 스크래핑을 처음 하시는 분들이라도 따라 할 수 있는 입문 난이도로 되어있습니다. 일단, 뷰티풀수프를 처음 사용하신다면 pip install beautifulsoup4 pip install requests 위 명령어를 사용하여 패키지 설치를 합니다. from bs4 import BeautifulSoup import requests base_url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query=" keyword = input("검색어를 입력하세요 : ") search_url..

파이썬 셀레니움 웹 드라이버에는 다양한 옵션을 사용할 수 있습니다. 이 강의 하나면 브라우저 창 크기 조절, 화면이 보이지 않는 헤드리스 모드, 자동화된 테스트 소프트웨어 메세지 제거, 음소거, 시크릿 모드 등 자주 사용하는 옵션을 배울 수 있습니다. from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager options = Options() user_agent = "Mozilla/5.0 (Windows NT 10...

파이썬 셀레니움(selenium)을 사용할 때 가장 번거로운 것 중 하나가 바로 웹 드라이버 설치입니다. 수시로 버전업이 되는 웹브라우저의 버전에 맞춰줘야 하는 게 상당히 귀찮은 일이죠. 그럴 때 사용하는 패키지가 바로 webdriver_manager입니다. 이걸 사용하면 앞으로는 직접 크롬드라이버를 설치할 일이 없어집니다. 일단, pip install webdriver-manager를 사용하여 패키지 설치를 합니다. 물론 파이썬과 셀레니움(selenium)은 설치되어 있어야 합니다. 먼저 셀레니움3(selenium3) 버전에서의 사용법입니다. from selenium import webdriver from selenium.webdriver.chrome.options import Options from ..

파이썬 if __name__ == '__main__' : 의미와 사용법, 사용하는 이유 파이썬에서 if __name__ == '__main__' : 이 조건문의 의미와 왜 사용하는지, 그리고 사용하는 방법에 대해 아주 쉽고 간단하게 설명하는 강의입니다. 초보자라도 조건문과 모듈이 무엇인지 알고 있다면 쉽게 이해하실 수 있습니다. 유튜브 김플 스튜디오에 방문하시면 더 많은 파이썬 강의를 보실수 있습니다. 프로그래머 김플 스튜디오 유튜브 Go!