[논문 정리] An image is worth 16x16 words : Transformers for image recognition

논문정보 An image is worth 16x16 words :Transformers for image recognition An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to..

• format_list_bulleted 논문
• · 2022. 12. 17.
• textsms

ViT 정리 자료 모음

https://visionhong.tistory.com/25 [논문리뷰] Vision Transformer(ViT) 논문에 대해 자세하게 다루는 글이 많기 때문에 앞으로 논문 리뷰는 모델 구현코드 위주로 작성하려고 한다. AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE Alexey Dosovitskiy∗,† , Lucas Be visionhong.tistory.com 코드 구현 위주로 https://everyday-deeplearning.tistory.com/entry/%EC%B4%88-%EA%B0%84%EB%8B%A8-%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0-Vision-TransformerV..

• format_list_bulleted 프로그래밍/참고자료
• · 2022. 12. 16.
• textsms

SimCLR 정리 자료 모음

https://deep-learning-study.tistory.com/731 [논문 읽기] SimCLR(2020), A Simple Framework for Contrastive Learning of Visual Representations 안녕하세요, 오늘 읽은 논문은 A Simple Framework for Contrastive Learning of Visual Representations 입니다. 해당 논문은 self supervised learning에서 major component를 연구합니다. 그리고 이 component를 결합하여 sota 성 deep-learning-study.tistory.com https://rauleun.github.io/SimCLR SimCLR v1 & v2 리뷰 ..

• format_list_bulleted 프로그래밍/참고자료
• · 2022. 11. 29.
• textsms

[논문정리] TransFG : A Transformer Architecture for Fine-Grained Recognition

논문정보 TransFG : A Transformer Architecture for Fine-Grained Recognition TransFG: A Transformer Architecture for Fine-grained Recognition Fine-grained visual classification (FGVC) which aims at recognizing objects from subcategories is a very challenging task due to the inherently subtle inter-class differences. Most existing works mainly tackle this problem by reusing the backbone network t arxiv..

• format_list_bulleted 논문
• · 2022. 11. 10.
• textsms

[논문정리] A Novel Plug-in Module for Fine-Grained Visual Classification

논문정보 A Novel Plug-in Module for Fine-Grained Visual Classification A Novel Plug-in Module for Fine-Grained Visual Classification Visual classification can be divided into coarse-grained and fine-grained classification. Coarse-grained classification represents categories with a large degree of dissimilarity, such as the classification of cats and dogs, while fine-grained classificati arxiv.org 논문..

• format_list_bulleted 논문
• · 2022. 10. 20.
• textsms

[논문정리] Disentangling Label Distribution for Long-tailed Visual Recognition

논문정보 Disentangling Label Distribution for Long-tailed Visual Recognition 논문정리 Abstract 롱데일 이미지 인식에서 많은 연구들이 분류 모델을 훈련할때는 롱테일 분포를 가진 소스 데이터로 하고, 평가는 균일한 분포를 가진 테스트 데이터로 수행한다. 하지만 테스트 분포가 롱테일일 수도 있기 때문에 이런 방법은 실용성이 의심스럽다. 따라서, 본 연구진은 롱테일 이미지 인식을 소스와 타겟 레이블 분포가 다른 label shift problem이라 정함 label shift 문제에서 많은 장애물 중 하나는 소스 라벨 분포와 모델 예측간의 entanglement 이기 때문에 이 둘 간의 관계를 disenstangling 하는 것에 초점을 두었다. 먼저..

• format_list_bulleted 논문
• · 2022. 9. 23.
• textsms