[논문정리] Attention is all you need

대학원 수업은 이렇게 논문 발표도 하는구나...... 어떤 논문을 발표할지 걱정스럽게 기다리다가 내가 들어본 논문이 나와서 바로 겟-토☆★ 이런거에 신나는 내가 싫다.. 이번에 공부해 볼 논문은 Attention is all you need! 정말 정말 유명한 논문이다. 감히 자연어처리의 한 획을 그엇다고 할 수 있는............ 시작해보자고~! Transformer 논문리뷰 (Attention Is All You Need, NIPS 2017) (velog.io) ◀ 여기 있는 자료를 많이 참고하였음 논문정보 Attention is all you need 논문정리 Abstract 지배적인 시퀀스 변환 모델은 인코더와 디코더를 포함하는 복잡한 RNN/CNN 모델을 기반으로 한다. 뛰어난 성능을 가..

[PPT] Context Encoder 발표자료

Attention is all you need 논문 정리

Transformer 논문리뷰 (Attention Is All You Need, NIPS 2017) (velog.io) Transformer 논문리뷰 (Attention Is All You Need, NIPS 2017) 본 논문 Attention Is All You Need의 Training과 Result를 제외한 나머지 부분을 모두 정리(번역..?)했습니다.오류 지적이나 질문 너무너무 환영입니다 :) velog.io ==> Training , result 제외하고 번역 ATTENTION IS ALL YOU NEED 논문 리뷰 (tistory.com) ATTENTION IS ALL YOU NEED 논문 리뷰 RNN이나 CNN이 아닌 새로운 구조를 개척한 Attention Is All You Need을 리..

[논문정리] Context Encoder : Feature Learning by Inpainting

빈 공간을 주변에 맞게 자연스럽게 채워주는 딥러닝 기술. 갤럭시 기능중에 AI지우개가 있는데 비슷한 원리 아닐까 싶음 객체를 선택해서 빈공간으로 만들고 Context Encoder로 빈공간을 채우는...? 이 논문은 잘 정리된게 많아서 참고자료가 풍부해 안심이다. 괜찮은 정리본들도 아래 게시물에 정리해놨다. 이렇게 능력자들이 자료를 공유해주니 나같은 초짜들이 살아갈만하다. Context Encoders 논문 정리 [고문서복원]Context Encoder 논문리딩 - LAB CONTEXT [고문서복원]Context Encoder 논문리딩 Intro labcontext.github.io Context Encoders를 활용한 배경 채우기(1) - Forte (hyungjobyun.github.io) Cont..

[tensorflow] ResNet50에 GradCAM 적용하기 / 코드해설 o

📌GradCAM 원리 $c$라고 표시된 노드에서 출력 $o_c$가 나오는데, $o_c$는 특징맵 F에 따라 값이 변한다. F에는 8*8*4=256개의 화소가 있는데 각 화소는 $o_c$에 영향을 미친다. 즉, $k$번째 특징 맵의 $i$번째 행의 $j$번째 열에 있는 화소 $f_{ij}^k$의 값이 바뀌면 $o_c$도 바뀜 이 변화량은 그림에서 볼 수 있듯이 그레디언트 요소 $\frac{\partial o_c}{\partial f_{ij}^k}$로 정의됨 (이 값은 텐서플로가 제공하는 함수를 사용하여 계산) GradCAM은 F를 구성하는 특징맵의 화소 각각에 대해 $\frac{\partial o_c}{\partial f_{ij}^k}$를 계산한 다음, 식 1을 사용해 $k$번째 특징 맵의 그레디언트에 전..

[python] 결정트리의 학습과 예측

📑 사이킷 런 라이브러리에서 제공하는 유방암 데이터셋 사용 전체 코드 from sklearn.datasets import load_breast_cancer from sklearn import tree import pydotplus wdbc = load_breast_cancer() decision_tree = tree.DecisionTreeClassifier(max_depth = 4, random_state = 1) dt = decision_tree.fit(wdbc.data, wdbc.target) res = dt.predict(wdbc.data) print("결정 트리의 정확률 = ",sum(res==wdbc.target)/len(res)) dot=tree.export_graphviz(dt, out_fi..