📒 Jero's Review/Paper

이번에 리뷰할 논문은 Three Scenarios for Continual Learning 이다. 해당 논문은 Continual Learning으로 학습한 모델을 평가하기 위한 평가 지표 3가지를 제시하고 있다. 학습 과정이 동일한 모델 3개가 있고(모델 결과도 동일하다) 모델 결과를 테스트할 때 어떤 걸 물어보느냐에 따라 사용하는 평가 지표가 달라지게 된다. 지금부터 3개의 평가 지표는 무엇이고, 어떻게 사용되는지 알아보도록 하자.Continual LearningContinual Learning이란 모델이 이전에 학습한 정보를 그대로 간직한 채 새로운 데이터 특징을 학습하는 방법론이다. 이때 가장 중요한 부분이 '이전에 학습한 정보를 그대로 간직'한다는 것이다. 따라서 당연하게도 Continual Le..

2017년에 발표된 Attention Is All You Need는 Transformer 모델을 제안한 논문이다. 이 모델은 기존의 RNN이나 LSTM을 사용하지 않고, 오직 Attention Mechanism만을 사용하여 Sequence Data를 처리한다. 지금부터 NLP 분야에 혁신적인 발전을 일으킨 Transformer에 대해 알아보자.Attention MechanismTransformer에서 가장 중요한 개념인 Attention은 한 단어와 다른 단어 사이의 관계를 모두 파악할 수 있어 특정 몇 단어 간의 관계가 아닌 모든 단어와 대응되는 관계를 파악한다. 이렇게 Sequence Data의 순서 정보에서 벗어나 학습하여 RNN, LSTM 등에서 문제 되었던 Long Term Dependency ..

이번에 리뷰할 논문은 2015년 CVPR에 게시된 Show and Tell: A Neural Image Caption Generator로, Image Caption 모델을 소개하고 있다. Image CaptionImage Caption은 말 그대로 Image에 대한 Caption을 생성해내는 방법이다. 즉, 모델의 Input은 Image data가 되고, Output은 Text data가 된다. 본 논문에서 소개하는 Image Caption 모델은 NIC(Neural Image Caption)으로 Neural Network(CNN, RNN)를 이용하여 Image를 충분히 설명하는 Caption을 생성하는 모델이다. 지금부터 어떤 방법으로 Image Caption에 접근하는지, 설명하고 있는 모델 구조는 ..

본 글에서 리뷰할 논문은 2014년 NeurIPS에 게시된 Sequence to Sequence Learning with Neural Network 이다. Sequence to Sequence논문 제목에서 알 수 있듯이 본 논문은 Neural Network로 이루어진 Sequence to Sequence(이하 Seq2Seq) 모델을 소개하고 있다. Seq2Seq 모델은 어떤 모델일까? 위 그림과 같이 어떠한 Sequence $\{A, B, C\}$ 가 입력되면, 그에 대응하는 Sequence $\{W, X, Y, Z\}$ 를 출력하는 모델을 Seq2Seq 모델이라 한다. 여기서 사용되는 Sequence Data는 길이가 정해져 있지 않다. 즉, 가변적인 문장을 입력으로 넣으면 또 다른 가변적인 문장을 출..