프로그래밍/before

파이썬 크롤링 csv 파일저장 방법 네이버 모바일 검색결과 웹스크래핑

김플 2020. 3. 8. 22:00
반응형

파이썬 크롤링 csv 파일저장 방법 네이버 모바일 검색결과 웹스크래핑

파이썬으로 크롤링한 결과를 csv파일로 저장하는 방법을 강의합니다. 예제에서 beautifulsoup, urllib.request, urllib.parse를 사용하여 네이버 모바일 view탭 검색결과를 스크래핑하고 텍스트 편집기, 엑셀 등에서 사용하거나 그밖에 데이터 처리가 쉬운 csv파일로 저장합니다.

-파이썬 웹 크롤링 예제-
파이썬 beautifulsoup 크롤링 예제 네이버 블로그 검색결과 크롤러 만들기
https://youtu.be/hKApZHK_fOQ

파이썬 크롤링 예제 네이버 이미지 검색결과 한번에 다운로드 프로그램
https://youtu.be/_wRTyQYjHcg

파이썬 인스타그램 크롤링 이미지 다운로드 beautifulsoup selenium 사용법
https://youtu.be/j_BW5vNrcxA

파이썬 여러페이지 크롤링 네이버 블로그 검색결과 웹스크래핑
https://youtu.be/8Sz8Ek46qGI


유튜브 김플 스튜디오에 방문하시면 더 많은 파이썬 강의를 보실수 있습니다.

프로그래머 김플 스튜디오 유튜브 Go!


# 소스코드 - 자세한 사용법은 유튜브 영상을 참조하세요.
import csv
from urllib.request import urlopen
from urllib.parse import quote_plus
from bs4 import BeautifulSoup

search = input('검색어를 입력하세요. : ')
url = f'https://m.search.naver.com/search.naver?where=m_view&sm=mtb_jum&query={quote_plus(search)}'
html = urlopen(url).read()
soup = BeautifulSoup(html, 'html.parser')

total = soup.select('.api_txt_lines.total_tit')
searchList = []

for i in total:
    temp = []
    temp.append(i.text)
    temp.append(i.attrs['href'])
    searchList.append(temp)

f = open(f'{search}.csv', 'w', encoding='utf-8', newline='')
csvWriter = csv.writer(f)
for i in searchList:
    csvWriter.writerow(i)

f.close()

print('완료되었습니다.')


반응형

▼웹크롤링&자동화를 제대로 배워보고 싶다면?▼

 

실습으로 끝장내는 파이썬 웹 크롤링과 웹 페이지 자동화 - 인프런 | 강의

쉬운 설명과 다양한 실습으로 어떠한 사이트라도 원하는 대로 파이썬(Python) 웹 크롤링을 할 수 있게 됩니다., - 강의 소개 | 인프런...

www.inflearn.com