전체 글

✳︎  메모리와 캐시 메모리✦   RAM의 특징과 종류    -   RAM은 휘발성 저장 장치이고, 보조기억장치는 비휘발성 저장 장치입니다.    -   DRAM은 시간이 지나면 저장된 데이터가 점차 사라지는 RAM 입니다.    -   SRAM은 시간이 지나도 저장된 데이터가 사라지지 않는 RAM 입니다.    -   SDRAM은 클럭과 동기화된 DRAM 입니다.    -   DDR SDRAM은 SDR SDRAM에 비해 대역폭이 두 배 넓습니다. ✦   메모리의 주소 공간    -   물리 주소는 메모리 하드웨어상의 주소이고, 논리 주소는 CPU와 실행 중인 프로그램이 사용하는 주소입니다.    -   MMU는 논리 주소를 물리 주소로 변환합니다.    -   베이스 레지스터는 프로그램의 첫 물리 주소..

✳︎  CPU의 작동 원리✦   ALU와 제어장치  ◦    ALU    -   CPU 내부 장치 중 계산을 담당하는 장치    -   ALU가 받아들이는 정보 : 피연산자(레지스터), 제어 신호(제어장치)    -   ALU가 내보내는 정보 : 연산 결과, 플래그(연산 결과에 대한 추가적인 상태 정보)    -   연산 결과는 명령어 레지스터에 플래그는 플래그 레지스터에 저장됨  ◦    제어장치    -   제어 신호를 내보내고 명령어를 해석하는 부품    -   제어 신호는 컴퓨터 부품을 관리하고 작동시키는 일종의 전기 신호    -   제어장치가 받아들이는 정보 : 클럭 신호, 해석해야 할 명령어, 플래그 값, 제어 버스로 전달된 제어 신호  ✳︎  레지스터✦   반드시 알아야 할 레지스터   ..

✳︎  컴퓨터 구조 시작하기✦︎   컴퓨터 구조의 큰 그림       - 컴퓨터가 이해하는 정보에는 데이터와 명령어가 있습니다.       - 메모리는 현재 실행되는 프로그램의 명령어와 데이터를 저장하는 부품입니다.       - CPU는 메모리에 저장된 명령어를 읽어 들이고, 해석하고, 실행하는 부품입니다.       - 보조기억장치는 전원이 꺼져도 보관할 프로그램을 저장하는 부품입니다.       - 입출력장치는 컴퓨터 외부에 연결되어 컴퓨터 내부와 정보를 교환할 수 있는 부품입니다.       - 시스템 버스는 컴퓨터의 네 가지 핵심 부품들이 서로 정보를 주고받는 통로입니다.  ✳︎  데이터✦︎   0과 1로 숫자를 표현하는 방법       - 비트는 0과 1로 표현할 수 있는 가장 작은 정보 단위..

이번에 리뷰할 논문은 Three Scenarios for Continual Learning 이다. 해당 논문은 Continual Learning으로 학습한 모델을 평가하기 위한 평가 지표 3가지를 제시하고 있다. 학습 과정이 동일한 모델 3개가 있고(모델 결과도 동일하다) 모델 결과를 테스트할 때 어떤 걸 물어보느냐에 따라 사용하는 평가 지표가 달라지게 된다. 지금부터 3개의 평가 지표는 무엇이고, 어떻게 사용되는지 알아보도록 하자.Continual LearningContinual Learning이란 모델이 이전에 학습한 정보를 그대로 간직한 채 새로운 데이터 특징을 학습하는 방법론이다. 이때 가장 중요한 부분이 '이전에 학습한 정보를 그대로 간직'한다는 것이다. 따라서 당연하게도 Continual Le..

2017년에 발표된 Attention Is All You Need는 Transformer 모델을 제안한 논문이다. 이 모델은 기존의 RNN이나 LSTM을 사용하지 않고, 오직 Attention Mechanism만을 사용하여 Sequence Data를 처리한다. 지금부터 NLP 분야에 혁신적인 발전을 일으킨 Transformer에 대해 알아보자.Attention MechanismTransformer에서 가장 중요한 개념인 Attention은 한 단어와 다른 단어 사이의 관계를 모두 파악할 수 있어 특정 몇 단어 간의 관계가 아닌 모든 단어와 대응되는 관계를 파악한다. 이렇게 Sequence Data의 순서 정보에서 벗어나 학습하여 RNN, LSTM 등에서 문제 되었던 Long Term Dependency ..

Weight Initialization딥러닝 모델을 학습한다는 건 loss 값이 최소가 되는 parameter를 찾는 것이다. 최적의 parameter를 찾기 위해 고려해야 할 점들이 여럿 있지만, 그 중 parameter의 초기값 설정은 중요한 영향을 미친다. 이 글에선 parameter 즉, weight의 초기값을 설정하는 여러 가지 방법에 대해 다뤄보려 한다. Zero Initialization (or Same Initialization)weight 크기를 크게 부여할수록 모델은 특정 데이터에만 잘 맞는 overfitting 문제가 발생하기 쉽다. 그렇기 때문에 weight을 0 혹은 굉장히 작은 값으로 부여해 학습을 진행시켜보자.      $h_1 = h_2 = h_3 = \mathbf{W}(i_..

이번에 리뷰할 논문은 2015년 CVPR에 게시된 Show and Tell: A Neural Image Caption Generator로, Image Caption 모델을 소개하고 있다. Image CaptionImage Caption은 말 그대로 Image에 대한 Caption을 생성해내는 방법이다. 즉, 모델의 Input은 Image data가 되고, Output은 Text data가 된다. 본 논문에서 소개하는 Image Caption 모델은 NIC(Neural Image Caption)으로 Neural Network(CNN, RNN)를 이용하여 Image를 충분히 설명하는 Caption을 생성하는 모델이다. 지금부터 어떤 방법으로 Image Caption에 접근하는지, 설명하고 있는 모델 구조는 ..

본 글에서 리뷰할 논문은 2014년 NeurIPS에 게시된 Sequence to Sequence Learning with Neural Network 이다. Sequence to Sequence논문 제목에서 알 수 있듯이 본 논문은 Neural Network로 이루어진 Sequence to Sequence(이하 Seq2Seq) 모델을 소개하고 있다. Seq2Seq 모델은 어떤 모델일까? 위 그림과 같이 어떠한 Sequence $\{A, B, C\}$ 가 입력되면, 그에 대응하는 Sequence $\{W, X, Y, Z\}$ 를 출력하는 모델을 Seq2Seq 모델이라 한다. 여기서 사용되는 Sequence Data는 길이가 정해져 있지 않다. 즉, 가변적인 문장을 입력으로 넣으면 또 다른 가변적인 문장을 출..