기억의 기록(나의 기기)

기본기 처음부터 다시 다지기본 글은 딥러닝의 기본기에 대한 질문들을 던지면서, 기본기를 다시 학습하기 위해 만들어졌습니다.TMI) 프로젝트를 여러 개 하다보면, 어느 순간 딥러닝의 기본 원리조차 까먹게 되더라구요. 그래서 만들어봤습니다.면접 준비하시는 분들도 도움이 될 거라 생각합니다. * 본 글은 계속 업데이트될 것입니다.# 딥러닝 이론 1. 체인 룰(Chain Rule, 연쇄 법칙)이 역전파 알고리즘에서 구체적으로 어떤 역할을 수행하며, 왜 우리가 미분 값을 '뒤에서부터(출력층에서 입력층으로)' 전달해야만 하나요? 앞에서부터 계산하면 안 되는 이유가 있을까요? : 예를 들어보겠습니다. 입력을 x라고 하고, 레이어가 3개짜리인 딥러닝 모델을 생각해보죠. 첫 번째 레이어를 f, 두번째 레이어를 g, 세..

ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks리뷰 논문: https://openaccess.thecvf.com/content_CVPR_2020/html/Wang_ECA-Net_Efficient_Channel_Attention_for_Deep_Convolutional_Neural_Networks_CVPR_2020_paper.html CVPR 2020 Open Access RepositoryQilong Wang, Banggu Wu, Pengfei Zhu, Peihua Li, Wangmeng Zuo, Qinghua Hu; Proceedings of the IEEE/CVF Conference on Computer Visio..

Convolutional Block Attention Module리뷰 논문: https://arxiv.org/abs/1807.06521 CBAM: Convolutional Block Attention ModuleWe propose Convolutional Block Attention Module (CBAM), a simple yet effective attention module for feed-forward convolutional neural networks. Given an intermediate feature map, our module sequentially infers attention maps along two separate dimensions,arxiv.org* 해당 글에 첨부된 사진들은..

[GPT-3] Language Models are Few-Shot Learners안녕하세요, 데이터과학을 전공하고 있는 황경하입니다.오늘은 GPT-3 논문인 『Language Models are Few-Shot Learners』에 대해 공부해 보겠습니다. 본 논문은 GPT-2가 Zero-Shot Downstream Task에 대해 좋은 성능을 보임에 따라, One-Shot, Few-Shot으로 진행했을 때의 실험 결과를 보고자 하며 모델의 사이즈와 데이터셋의 크기가 커짐에 따른 성능 변화를 보고자 합니다. * 리뷰할 논문:https://proceedings.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.htm * 해당 글에 첨부..

BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding 안녕하세요, 데이터과학 전공하고 있는 황경하입니다.오늘은 저번에 Word Embedding을 배웠기 때문에 BERT 논문을 공부하며 Transformer에 대한 이해를 더 올려보겠습니다. BERT는 Transformer를 변형하여 만든 LLM 모델로 여러 언어 태스크에서 우수한 성능을 보였습니다. * 리뷰할 논문: https://arxiv.org/abs/1810.04805 BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingWe introduce a new language ..

[NLP] BLEU 스코어란?안녕하세요, 데이터 과학 전공하고 있는 황경하입니다.오늘은 Transformer 논문을 읽다가 BLEU Score 라는 평가지표가 사용되어서 공부한 내용을 올려보려 합니다.# What is BLEU?BLEU는 딥러닝 모델을 활용한 번역 작업이 잘 되었는지를 평가하기 위해 사용됩니다. 우선, n-그램 정밀도에 대해 알아보겠습니다. n-그램 정밀도에서 n은 일반적으로 4로 계산되는데, n-그램이라는 것은 단어를 몇 개로 묶어서 볼 것이냐로 이해할 수 있습니다. 아래와 같은 예시를 들어보겠습니다.정답 문장: "the cat is on the mat"번역 문장: "the the the cat on the mat"위 문장을 1-그램으로 본다면 ["the", "cat", "is", "o..

cd your_directory_pathGithub - Repositories 연동 및 Push 방법안녕하세요, 데이터과학을 전공하고 있는 황경하입니다. 오늘은 제가 보려고 만든 Github 조작입니다. 리눅스 서버에서 푸시하는 것을 전제로 하고 있습니다. 깃허브에 스터디와 프로젝트 내용들을 푸시하려고 하는데, 자꾸 까먹어서 코드를 찾게 되더라구요. 그래서, 오늘은 그럴 때마다 보려고 깃허브 관련 코드들을 올려보겠습니다. # 깃허브 설치 여부 확인git --version# 출력이 없다면 (설치되어 있지 않은 경우)sudo apt-get updatesudo apt-get install git 기본적으로 서버에 깃허브가 설치되어 있어야 합니다. 그래야 이후 제가 푸시할 github와 원격 연동할 수 있기 때..

AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE안녕하세요, 데이터 과학 전공하고 있는 황경하입니다.오늘은 저번 시간에 Transformer에 대해 공부했기 때문에 이를 Vision 분야에 접목한 Vision Transformer에 대해 공부해보려 합니다. 데이터를 구하기 비교적 쉬워진 지금 시점에서는 데이터만 더 많다면 기존 모델보다 더 좋은 성능을 보일 수 있다고 한다면, 그 모델은 각광을 받을 것입니다. 오늘 읽을 논문인 ViT(Vision Transformer)는 데이터 수가 많을 때 SOTA 모델보다 더 뛰어난 성능을 보인 논문입니다. * 리뷰할 논문: https://arxiv.org/pdf/2010.11929/..

Attention Is All You Need안녕하세요, 데이터 과학 전공하고 있는 황경하입니다.오늘은 Transformer 모델의 기초가 되는 Attention과 Self-Attention에 대한 내용을 공부하고, Transformer 모델의 아키텍처를 분석해보려 합니다. Transformer는 LLM 뿐 아니라 Vision 영역에서도 매우 좋은 성능을 보이고 있기에 이젠 영역 상관없이 관심을 가지고 연구해봐야 할 모델이라고 생각합니다. * 리뷰할 논문: https://proceedings.neurips.cc/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html Attention is All you NeedRequests for name cha..

[Computer Vision] A semi-supervised multi-task learning framework for cancer classification with weak annotation in whole-slide images안녕하세요, 데이터 과학 전공하고 있는 황경하입니다.오늘은 지난 포스팅에 이어 딥러닝이 병리학적 데이터에 적용된 논문을 살펴보겠습니다. 본 논문은 다른 논문과 달리 Supervised-Learning 방식이 아닌 Semi-Supervised Learning 방식으로 진행하는 Multi-task Learning이라는 점을 눈여겨볼 필요가 있습니다. *리뷰할 논문: https://www.sciencedirect.com/science/article/pii/S136184152..