기억의 기록(나의 기기)

AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE안녕하세요, 데이터 과학 전공하고 있는 황경하입니다.오늘은 저번 시간에 Transformer에 대해 공부했기 때문에 이를 Vision 분야에 접목한 Vision Transformer에 대해 공부해보려 합니다. 데이터를 구하기 비교적 쉬워진 지금 시점에서는 데이터만 더 많다면 기존 모델보다 더 좋은 성능을 보일 수 있다고 한다면, 그 모델은 각광을 받을 것입니다. 오늘 읽을 논문인 ViT(Vision Transformer)는 데이터 수가 많을 때 SOTA 모델보다 더 뛰어난 성능을 보인 논문입니다. * 리뷰할 논문: https://arxiv.org/pdf/2010.11929/..

Attention Is All You Need안녕하세요, 데이터 과학 전공하고 있는 황경하입니다.오늘은 Transformer 모델의 기초가 되는 Attention과 Self-Attention에 대한 내용을 공부하고, Transformer 모델의 아키텍처를 분석해보려 합니다. Transformer는 LLM 뿐 아니라 Vision 영역에서도 매우 좋은 성능을 보이고 있기에 이젠 영역 상관없이 관심을 가지고 연구해봐야 할 모델이라고 생각합니다. * 리뷰할 논문: https://proceedings.neurips.cc/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html Attention is All you NeedRequests for name cha..