네이버 영화 리뷰 키워드분석 (3) 리뷰 크롤링

글 쓰는게 여간 귀찮은게 아니다.. 암튼 다음으로 넘어가보면 이제 전에 만들었던 baseurl에 접속해서 리뷰들을 크롤링하는 단계다. #import한 패키지 목록 import re import pandas as pd import requests from tqdm import tqdm from bs4 import BeautifulSoup import time 일단 편의를 위해 영화는 주토피아로 정해놓았다. 베이스주소로 이동해보면 주토피아의 경우, 17921개의 리뷰들이 한 페이지당 10개씩 올라와있다. 따라서 총 페이지개수를 정할 수 있는데, 계산하기 귀찮으니 10개가 안되는 마지막 페이지는 버리고 총 리뷰수 % 10으로 정하자. 그럼 총 리뷰수를 가져오는 selector를 구하자 평점 수 부분은 scor..

• format_list_bulleted 프로그래밍/프로젝트
• · 2021. 7. 17.
• textsms

네이버 영화 리뷰 키워드분석 (2) 영화 검색결과 크롤링

그래..시작하자.. 일단 영화 리뷰를 크롤링 하기전에 url을 살펴보았다. 영화마다 고유 code를 갖고 있고 이거를 조합해서 영화페이지에 접근한다. 영화코드 데이터셋이 있으면 좋겠지만 없으니 사용자가 원하는 영화키워드로 검색을 시도하고 검색결과를 크롤링해 결과리스트에 href속성에있는 주소에서 code를 추출하기로 했다. 그러면 사용자가 입력한 영화검색키워드에 해당하는 검색결과는 어떻게 받아올까. 하이라이트한 위치에 검색키워드를 조합해서 접근하면 될 것 같다. from bs4 import BeautifulSoup movie = input("어떤 영화를 검색하시겠습니까? ") url = f'https://movie.naver.com/movie/search/result.naver?query={movie}&..

• format_list_bulleted 프로그래밍/프로젝트
• · 2021. 7. 16.
• textsms

네이버 영화 리뷰 키워드분석 (1) 계획

겨울방학동안 데이터 청년 캠퍼스를 하면서 미니 프로젝트로 '네이버영화리뷰를 통한 핫 키워드 추출'을 하고있다. 모티브는 내가 진짜 좋아하는 드라마 스토브리그에서 구단에 사건에 생길때마다 네티즌들의 반응을 분석하고 시각화해서 아래와 같이 보여주는데, 나도 해보고 싶었음. 그래서 주제를 냈는데 팀플로 하게 되었다. 근데 어떤 사건에 대한 네티즌 반응을 구하는게 쉽지는 않았다. 어디서 어떻게 모을거냐구ㅠㅠ 그래서 스토브리그처럼 하는 건 너무 어려울 것 같았고, 대신 긍/부정이 명확하고, 뽑아낼 수 있는 감정표현이 다양한게 없을까 생각하다가 리뷰들을 총정리해서 보여주는 게 있으면 좋겠다는 생각을 했다! 활용은 다양하게 할 수 있겠지만 먼저 영화 리뷰를 택했다. (자료가 많으니까 ㅎ) 아무튼 생각하고 있는 목표는..

• format_list_bulleted 프로그래밍/프로젝트
• · 2021. 7. 16.
• textsms

에러 ) 'utf-8' codec can't decode byte 0xb3 in position 0: invalid start byte 해결

에러 'utf-8' codec can't decode byte 0xb3 in position 0: invalid start byte 파이썬에서 csv를 불러올때 한글을 인식하지 못 해 생긴다고 한다. data = pd.read_csv('주토피아review.csv', names = ['Review','Rank']) data 해결 encoding인자에 'euc-kr' 이나 'cp949'로 추가해주면 된다. 찾아보니 cp949가 더 범용적이라고 한다! 나도 왜인지 모르겠지만 euc-kr로 하니 오류가 났다. data = pd.read_csv('주토피아review.csv', encoding='cp949', names = ['Review','Rank']) data 잘 나오는구만... 해결!

• format_list_bulleted 프로그래밍/개발 Issue
• · 2021. 7. 16.
• textsms