기억의 기록(나의 기기)

AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE안녕하세요, 데이터 과학 전공하고 있는 황경하입니다.오늘은 저번 시간에 Transformer에 대해 공부했기 때문에 이를 Vision 분야에 접목한 Vision Transformer에 대해 공부해보려 합니다. 데이터를 구하기 비교적 쉬워진 지금 시점에서는 데이터만 더 많다면 기존 모델보다 더 좋은 성능을 보일 수 있다고 한다면, 그 모델은 각광을 받을 것입니다. 오늘 읽을 논문인 ViT(Vision Transformer)는 데이터 수가 많을 때 SOTA 모델보다 더 뛰어난 성능을 보인 논문입니다. * 리뷰할 논문: https://arxiv.org/pdf/2010.11929/..

Attention Is All You Need안녕하세요, 데이터 과학 전공하고 있는 황경하입니다.오늘은 Transformer 모델의 기초가 되는 Attention과 Self-Attention에 대한 내용을 공부하고, Transformer 모델의 아키텍처를 분석해보려 합니다. Transformer는 LLM 뿐 아니라 Vision 영역에서도 매우 좋은 성능을 보이고 있기에 이젠 영역 상관없이 관심을 가지고 연구해봐야 할 모델이라고 생각합니다. * 리뷰할 논문: https://proceedings.neurips.cc/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html Attention is All you NeedRequests for name cha..

[Segmantic Segmentation] Deep learning for classification and localization of early gastric cancer in endoscopic images안녕하세요, 데이터 과학 전공하고 있는 황경하입니다.오늘은 컴퓨터 비전 영역에서 많은 연구가 이루어지고 있는 의미론적 분할 (Semantic Segmentation) 논문에 대해 리뷰해보려 합니다. 최근에 위암 조기 진단에 관한 논문들을 찾아보고 있는데, 그중에 Attention 모듈을 도입한 논문들이 많더라고요. 그래서, 오늘은 Attention 모듈을 이용하며, 성능 또한 SOTA보다 높게 달성한 두 가지 모델을 제안하는 논문을 리뷰해 볼까 합니다. * 리뷰할 논문: https://www.s..