기억의 기록(나의 기기)

BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding 안녕하세요, 데이터과학 전공하고 있는 황경하입니다.오늘은 저번에 Word Embedding을 배웠기 때문에 BERT 논문을 공부하며 Transformer에 대한 이해를 더 올려보겠습니다. BERT는 Transformer를 변형하여 만든 LLM 모델로 여러 언어 태스크에서 우수한 성능을 보였습니다. * 리뷰할 논문: https://arxiv.org/abs/1810.04805 BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingWe introduce a new language ..

Attention Is All You Need안녕하세요, 데이터 과학 전공하고 있는 황경하입니다.오늘은 Transformer 모델의 기초가 되는 Attention과 Self-Attention에 대한 내용을 공부하고, Transformer 모델의 아키텍처를 분석해보려 합니다. Transformer는 LLM 뿐 아니라 Vision 영역에서도 매우 좋은 성능을 보이고 있기에 이젠 영역 상관없이 관심을 가지고 연구해봐야 할 모델이라고 생각합니다. * 리뷰할 논문: https://proceedings.neurips.cc/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html Attention is All you NeedRequests for name cha..