📒 Jero's Review

2017년에 발표된 Attention Is All You Need는 Transformer 모델을 제안한 논문이다. 이 모델은 기존의 RNN이나 LSTM을 사용하지 않고, 오직 Attention Mechanism만을 사용하여 Sequence Data를 처리한다. 지금부터 NLP 분야에 혁신적인 발전을 일으킨 Transformer에 대해 알아보자.Attention MechanismTransformer에서 가장 중요한 개념인 Attention은 한 단어와 다른 단어 사이의 관계를 모두 파악할 수 있어 특정 몇 단어 간의 관계가 아닌 모든 단어와 대응되는 관계를 파악한다. 이렇게 Sequence Data의 순서 정보에서 벗어나 학습하여 RNN, LSTM 등에서 문제 되었던 Long Term Dependency ..

이번에 리뷰할 논문은 2015년 CVPR에 게시된 Show and Tell: A Neural Image Caption Generator로, Image Caption 모델을 소개하고 있다. Image CaptionImage Caption은 말 그대로 Image에 대한 Caption을 생성해내는 방법이다. 즉, 모델의 Input은 Image data가 되고, Output은 Text data가 된다. 본 논문에서 소개하는 Image Caption 모델은 NIC(Neural Image Caption)으로 Neural Network(CNN, RNN)를 이용하여 Image를 충분히 설명하는 Caption을 생성하는 모델이다. 지금부터 어떤 방법으로 Image Caption에 접근하는지, 설명하고 있는 모델 구조는 ..

본 글에서 리뷰할 논문은 2014년 NeurIPS에 게시된 Sequence to Sequence Learning with Neural Network 이다. Sequence to Sequence논문 제목에서 알 수 있듯이 본 논문은 Neural Network로 이루어진 Sequence to Sequence(이하 Seq2Seq) 모델을 소개하고 있다. Seq2Seq 모델은 어떤 모델일까? 위 그림과 같이 어떠한 Sequence $\{A, B, C\}$ 가 입력되면, 그에 대응하는 Sequence $\{W, X, Y, Z\}$ 를 출력하는 모델을 Seq2Seq 모델이라 한다. 여기서 사용되는 Sequence Data는 길이가 정해져 있지 않다. 즉, 가변적인 문장을 입력으로 넣으면 또 다른 가변적인 문장을 출..