머신러닝 공부 개요 - 2021 07 23

머신러닝 수업을 들었는데, 공부를 할 필요가 있다고 생각해서 도서관에서 책을 빌려왔다. 1. Deep learning from Scratch (밑바닥부터 시작하는 딥러닝) 1 2. Deep learning from Scratch (밑바닥부터 시작하는 딥러닝) 2 3. 딥러닝 텐서플로 교과서 현재 데이터청년 캠퍼스 활동을 하고 있다. 다음주부터 자연어처리 논문을 읽으면서 텐서플로우를 이용하여 머신러닝을 구현해야 하는데 사실 아직도 개념이 부족하고, 텐서플로우에 대한 베이직 지식이 없다보니까, 최대한 빠른시일내에 이 책들의 내용을 익혀야 될 것 같다. 그래야 다음 달부터 시작하는 심화 프로젝트에서 일인분을 할 수 있지 않을까 싶다. 짧은 시간안에 최대한 많은 내용을 머릿속에 집어 넣어야되니 나중에 찾아보기 ..

• format_list_bulleted 프로그래밍/머신러닝 AI
• · 2021. 7. 23.
• textsms

네이버 영화 리뷰 키워드분석 (6) 키워드 추출

길고 귀찮았던 전처리 과정이 마무리 되었다. 이제 라벨링 된 값을 이용하여 긍/부정 키워드를 추출할 것이다. 시작하기 전에... 사실은 이제 긍정/부정을 나누는 모델을 만들어야한다. 어떤 리뷰가 있을 때, 이것이 긍정리뷰인가 부정리뷰인가 구분하는 모델이다. 그런데 이것은 우리가 실시간으로 크롤링하고 정제한 데이터를 가지고 만드는 것이아니다. 어떤 영화를 가져오냐에 따라 데이터 크기가 천차만별이고, 대부분의 데이터들은 긍정/부정비율이 편향되어있기 때문. 따라서, 분류모델은 https://github.com/e9t/nsmc/ 여기 있는 데이터를 가지고 나중에 따로 만들 것이다. 위의 데이터셋은 긍정 부정비율이 일정하고, 데이터셋의 크기도 충분히 크다. 그럼 지금 하는 일은, 분류 모델이 있고 그 모델로 분류..

• format_list_bulleted 프로그래밍/프로젝트
• · 2021. 7. 18.
• textsms

네이버 영화 리뷰 키워드분석 (5) 전처리 끝

전단계에서 못다한 전처리를 마무리하자. 이전까지는 데이터를 쪼개고, 필요없는 것을 걸러내는 작업을 했다면 지금부터는 그렇게 해서 남은 단어들을 벡터화하는 단계이다. 생각보다 전처리가 오래걸리고 힘들었다. 그냥 긍정/부정을 나누는 것만 했다면, 어느정도 정제만 하고 성능에 영향을 주지 않을 정도만 하면 되는데, 우리는 키워드 추출까지 해야한다. 추출한 키워드가 최대한 불용어가 되지 않도록 데이터를 많이 살펴보아야한다. 아무튼 시작한다. CountVectorizer from sklearn.feature_extraction.text import CountVectorizer CountVectorizer에 대해서는 강의 03 단어 카운트 (CountVectorizer) - 토닥토닥 파이썬 - 텍스트를 위한 머신러..

• format_list_bulleted 프로그래밍/프로젝트
• · 2021. 7. 17.
• textsms

네이버 영화 리뷰 키워드분석 (4) 전처리 시작

탐색 이제 데이터를 수집하는 것은 끝이 났다. 지금부터는 이 데이터를 가공하는 작업이다. 사실 이 데이터 전처리가 제일 중요하지만, 제일 귀찮고 번거롭다. 암튼 또 시작 ㅠㅠ 이번 단계에서 사용할 패키지는 다음과 같다. #import할 패키지 목록 import re import pandas as pd from tqdm import tqdm from konlpy.tag import Okt from pykospacing import Spacing from collections import Counter 일단, 이전에 만들어놓은 함수들을 사용해서 다시 데이터프레임을 생성해보자. url = search() data = crawl_review(url) data = save_and_load(data) 좋다. 아주 ..

• format_list_bulleted 프로그래밍/프로젝트
• · 2021. 7. 17.
• textsms

네이버 영화 리뷰 키워드분석 (3) 리뷰 크롤링

글 쓰는게 여간 귀찮은게 아니다.. 암튼 다음으로 넘어가보면 이제 전에 만들었던 baseurl에 접속해서 리뷰들을 크롤링하는 단계다. #import한 패키지 목록 import re import pandas as pd import requests from tqdm import tqdm from bs4 import BeautifulSoup import time 일단 편의를 위해 영화는 주토피아로 정해놓았다. 베이스주소로 이동해보면 주토피아의 경우, 17921개의 리뷰들이 한 페이지당 10개씩 올라와있다. 따라서 총 페이지개수를 정할 수 있는데, 계산하기 귀찮으니 10개가 안되는 마지막 페이지는 버리고 총 리뷰수 % 10으로 정하자. 그럼 총 리뷰수를 가져오는 selector를 구하자 평점 수 부분은 scor..

• format_list_bulleted 프로그래밍/프로젝트
• · 2021. 7. 17.
• textsms

네이버 영화 리뷰 키워드분석 (2) 영화 검색결과 크롤링

그래..시작하자.. 일단 영화 리뷰를 크롤링 하기전에 url을 살펴보았다. 영화마다 고유 code를 갖고 있고 이거를 조합해서 영화페이지에 접근한다. 영화코드 데이터셋이 있으면 좋겠지만 없으니 사용자가 원하는 영화키워드로 검색을 시도하고 검색결과를 크롤링해 결과리스트에 href속성에있는 주소에서 code를 추출하기로 했다. 그러면 사용자가 입력한 영화검색키워드에 해당하는 검색결과는 어떻게 받아올까. 하이라이트한 위치에 검색키워드를 조합해서 접근하면 될 것 같다. from bs4 import BeautifulSoup movie = input("어떤 영화를 검색하시겠습니까? ") url = f'https://movie.naver.com/movie/search/result.naver?query={movie}&..

• format_list_bulleted 프로그래밍/프로젝트
• · 2021. 7. 16.
• textsms