[논문정리] Multi-Evidence and Multi-Modal Fusion Network for Ground-Based Cloud Recognition

논문정보 Multi-Evidence and Multi-Modal Fusion Network for Ground-Based Cloud Recognition 논문정리 Abstract 많은 딥러닝 네트워크가 ground-based 구름 영상분류에 쓰였음 하지만 여태까지는 이미지에서 얻어지는 글로벌특징에 주심을 두어서 구름에 대해 완벽하지 않은 표현을 얻었음 이 논문에선 MMFN (Multi evidence and Multi-modal Fusion Network)를 제안하여 하나의 통합된 프레임워크에 여러 종류의 특징들을 융합하여 확장된 구름 정보를 학습함 즉, MMFN은 메인네트워크와 주의 네트워크로 여러개의 evidence(global and local visual features)을 이용한다. main n..

[논문정리] Deep Long-Tailed Learning : A Survey

논문정보 Deep Long-Tailed Learning : A Survey 논문정리 Abstract 그냥 long tailed data에 대한 설명과 어떤 문제가 있는지, 그리고 알고리즘들을 어떤 부류로 나눴는지에 대한 얘기다. long-tailed 이란? 소수의 클래스가 데이터의 대부분을 차지하고 나머지 클래스는 데이터가 부족한 경우 데이터에 이렇게 불균형이 생기면 샘플수가 많은 쪽으로 편향이 생기고 적은 쪽에 대한 성능이 현저히 떨어지게 된다. 이를 처리하기 위해 여러 연구가 진행되었는데 본 논문에선 이를 세 그룹으로 나누었음 class re-balancing information augmentation module improvement 또한, 새로운 평가척도인 relative accuracy를 제안..

[논문정리] Class-Balanced Loss Based on Effective Number of Samples

구름 운형을 분류하는 딥러닝 모델을 만들고 있는데, 수집된 데이터의 샘플 불균형이 너무 심한 탓인지 테스트 셋에 대한 결과가 좋지 않았다. 이에 대해서 업샘플링을 진행할까 해봤는데 해당 논문이 도움이 될 것 같아 읽어보기로 하였다. 정리된 것도 많고 구현된 코드도 있어서 good 논문정보 Class-Balanced Loss Based on Effective Number of Samples 논문정리 Abstract 대용량의 데이터셋이 빠르게 증가하게 되면서, long-tailed 데이터 분포 문제를 해결하는 것이 중요해졌다. long-tailed 이란? 소수의 클래스가 데이터의 대부분을 차지하고 나머지 클래스는 데이터가 부족한 경우 기존의 해결책은 re-sampling, re-weighting같은 전형적인..

[논문정리] CoAtNet : Marrying Convolution and Attention for All Data Sizes

논문정보 CoAtNet : Marrying Convolution and Attention for All Data Sizes 논문정리 Abstract 트랜스포머로 인해 컴퓨터 비전에 대한 관심이 높아졌지만, SOTA 컨볼루션망에 비해서는 뒤쳐지고 있다. 이 연구에서는 트랜스포머가 더 큰 모델 용량을 갖지만 편향을 올바르게 유도하지 못해 일반화 능력이 컨볼루션 네트워크에 비해 떨어진다. 두 아키텍쳐의 장점을 효과적으로 결합하기 위한 하이브리드 모델 CoAtNets을 제안 depthwise Convolution와 self-Attention은 단순한 relative attention을 통해 결합 수직으로 컨볼루션층과 어텐션층을 쌓아 일반화, 용량, 효율성 대폭 개선 이때 일반화(generalization)는 t..

[논문정리] Attention is all you need

대학원 수업은 이렇게 논문 발표도 하는구나...... 어떤 논문을 발표할지 걱정스럽게 기다리다가 내가 들어본 논문이 나와서 바로 겟-토☆★ 이런거에 신나는 내가 싫다.. 이번에 공부해 볼 논문은 Attention is all you need! 정말 정말 유명한 논문이다. 감히 자연어처리의 한 획을 그엇다고 할 수 있는............ 시작해보자고~! Transformer 논문리뷰 (Attention Is All You Need, NIPS 2017) (velog.io) ◀ 여기 있는 자료를 많이 참고하였음 논문정보 Attention is all you need 논문정리 Abstract 지배적인 시퀀스 변환 모델은 인코더와 디코더를 포함하는 복잡한 RNN/CNN 모델을 기반으로 한다. 뛰어난 성능을 가..

[PPT] Context Encoder 발표자료