Glove : Global Vectors for Word Representation 리뷰

이번 논문은 영어 논문이라 빠르게 읽고 요약하는 것이 힘들 것 같아 천천히 해석하면서 공부해보려고 한다. Glove 라는 모델의 설명인 것 같다. 12페이지 분량의 논문이다. ㅠㅠ 시작해보자 화이팅. GloVe 논문 ppt 정리 논문 발표를 위해 ppt로 정리한 부분이 나중에 볼때 도움 될 것 같아 업로드한다. 나는 , 을 맡았고 그 외 part는 다른 팀원분들이 제작하였기 때문에 내가 만든 부분만 올리겠다. haystar.tistory.com 논문정보 Glove : Global Vectors for Word Representation 논문정리 Abstract 이때까지, 최신 연구들에서 의미와 구문 규칙을 파악하는 것은 성공했지만, 그 규칙에 대한 origin은 불분명하다. 이 논문은 이런 규칙이 단어 ..

• format_list_bulleted 논문
• · 2021. 7. 28.
• textsms

문서 주제에 따른 문장 생성을 위한 LSTM 기반 언어 학습 모델

논문정보 김다해, 이지형. (2016). 문서 주제에 따른 문장 생성을 위한 LSTM 기반 언어 학습 모델. 한국컴퓨터정보학회 학술발표논문집 , 24(2), 17-20. 논문요약 대부분의 언어 모델들은 텍스트에 나타나는 단어들의 일반적인 패턴을 학습하는 것을 기반으로 하기 때문에, 고도화된 자연어의 이해를 필요로 하는 연구들의 경우 주어진 텍스트의 주제 및 의미를 고려하기에 한계점이 있다. 따라서 LSTM 모델을 변형하여 문서 주제와 해당 주제에서 단어가 가지는 문맥적인 의미를 단어 벡터 표현에 반영할 수 있는 새로운 언어 학습모델을 제안하고 본 제안 모델이 문서의 주제를 고려하여 문장을 자동으로 생성할 수 있음을 보이고자 한다. 개요 단어들의 일반적인 패턴을 학습하는 대부분의 언어 학습 모델은, 문서 ..

• format_list_bulleted 논문
• · 2021. 7. 26.
• textsms

도메인 정보가 강화된 워드 임베딩을 사용한 한국어 텍스트 생성

논문정보 임미영, 강신재. (2019). 도메인 정보가 강화된 워드 임베딩을 사용한 한국어 텍스트 생성. 한국지능시스템학회 논문지, 29(2), 142-147. 논문요약 최근 RNN이 언어 모델링에서 두각을 나타내고 있다. 정형화된 텍스트 뿐만 아닌 소설,수필과 같은 창의적인 텍스트 생성을 위한 시스템에도 쓰임. 다만 한국어 연구는 부족한데, 영어보다 어휘의 쓰임새나 형변환이 다양하기 때문. 따라서, 도메인 정보가 강화된 워드 임베딩을 이용하여 한국어 텍스트 생성 모델을 구축하였다. 기존연구 언어모델이란 말뭉치에 출현한 단어 열에 대한 확률 분포 n-1개의 단어가 주어졌을때 말뭉치에서 단어 열이 나타날 확률을 할당하여 가장 높은 확률을 가지는 단어를 생성 (데이터에 민감함 => 대화말뭉치, 학술분야 말뭉..

• format_list_bulleted 논문
• · 2021. 7. 26.
• textsms

문장중심 재조합 방식의 소설 생성 알고리즘

논문정보 한승현, 정태선. (2018). 문장 중심 재조합 방식의 소설 생성 알고리즘. 한국정보기술학회 종합학술발표논문집, (), 173-175. 논문요약 연구배경 서사학적 관점에서 표현 형식의 일관성을 표현하기 위해서는 강한 지도 학습이 필요함. ▷ 문장중심 재조합 방식의 소설 생성 알고리즘 제시 시계열 데이터의 대표적인 예는 RNN과 그 파생 알고리즘 but 장기 의존성 문제가 있다. ▷ 단어 차원으로 통사적으로 말이 되는 문장이 나올지라도 의미상 어색한 문장이 생성됨 일반적으로 문장 생성 학습에서의 initialization은 단어로 보통 이뤄져 있고, 이를 문장이나 구문 단위로 늘리게 될 경우 가중치 배열이 매우 커져, 약간의 노이즈만으로도 일관성 문제가 발생한다. 또한 메모리 문제도 심함. 정리..

• format_list_bulleted 논문
• · 2021. 7. 26.
• textsms

딥러닝독학! (2) 신경망 - 밑바닥부터시작하는딥러닝

3일독학인데 지금은 첫째날에서 둘째날 넘어가는 새벽 2시다. 생각보다 굉장히 벅차다. 다시 시작! 다층 퍼셉트론을 구현하면 복잡한 함수도 표현할 수 있지만, 여전히 가중치는 사람이 수동적으로 설정해야 함. 신경망을 통해 이 단점을 극복한다. 1. 퍼셉트론에서 신경망으로 1.1 신경망의 예 신경망을 그림으로 나타내보자. 입력츠에서 출력층 방향으로 0층, 1층, 2층이라 하자. 아래 그림에서는 0층이 입력층, 1층이 은닉층, 2층이 출력층이 된다. 은닉층의 뉴런은 사람 눈에는 보이지 않음. 신경망에선 신호를 어떻게 전달할까? 1.2 활성화 함수 등장 앞서 배운 퍼셉트론의 그림에는 편향이 명시되어 있지 않았다. 편향을 명시한다면 다음과 같은 그림이 나옴. 입력이 항상 1인 뉴런의 가중치가 b이 된다. 그러면 ..

• format_list_bulleted 프로그래밍/머신러닝 AI
• · 2021. 7. 24.
• textsms

딥러닝독학! (1) 퍼셉트론 - 밑바닥부터시작하는딥러닝

시작하기 전에... 처음 공부할 책은 밑바닥부터 시작하는 딥러닝이다. 이 책은 외부 라이브러리를 최소화하고 개념 이해를 위주로 작성된 책인 것 같다. 텐서플로, 케라스 같은 프레임워크는 다루지 않는다. 처음부터 개념에 대한 이해없이 텐서플로우를 사용해 어떻게든 돌려보면서 하는 것은 별로 도움이 되지 않는 것 같다. 프로그래밍 언어를 공부할 때도 C를 하고 파이썬을 하면 쉬운데 파이썬을 먼저하고 C를 하는 것은 다들 추천하지 않는 이유가 아닐까. 개념에 대한 이해가 먼저 선행되어야 한다고 생각해서 급한 건 텐서플로지만 이 책을 선택했다. 그래도 시간이 없으니 공부한다기보다는 훑는다는 표현이 맞을 것 같다. 블로그 포스팅은 공부하고 나서 정리용으로 작성하는 것이 아니라, 공부하면서 실시간으로 작성하는 중이다..

• format_list_bulleted 프로그래밍/머신러닝 AI
• · 2021. 7. 24.
• textsms