Three Scenarios for Continual Learning

이번에 리뷰할 논문은 Three Scenarios for Continual Learning 이다. 해당 논문은 Continual Learning으로 학습한 모델을 평가하기 위한 평가 지표 3가지를 제시하고 있다. 학습 과정이 동일한 모델 3개가 있고(모델 결과도 동일하다) 모델 결과를 테스트할 때 어떤 걸 물어보느냐에 따라 사용하는 평가 지표가 달라지게 된다. 지금부터 3개의 평가 지표는 무엇이고, 어떻게 사용되는지 알아보도록 하자.

---

Continual Learning

Continual Learning이란 모델이 이전에 학습한 정보를 그대로 간직한 채 새로운 데이터 특징을 학습하는 방법론이다. 이때 가장 중요한 부분이 '이전에 학습한 정보를 그대로 간직'한다는 것이다. 따라서 당연하게도 Continual Learning에서 가장 문제되는 부분이 기존에 학습한 정보를 잊어버리는 것이다. 이것을 Catastrophic Forgetting 이라 한다. '재앙적인 망각' 이라 번역되는 이 단어는 Continual Learning에서 잊어버림이 얼마나 큰 문제인지를 엿볼 수 있다.

본 논문에서 제시한 3가지 Scenario 평가 방법을 사용해 모델이 Catastrophic Forgetting 문제를 얼마나 잘 해결하고 있는지 평가할 수 있어, 모델 학습 방향성을 제시할 뿐만 아니라 Catastrophic Forgetting를 완화할 수 있다.

 

Three Continual Learning Scenarios

Task Boundaries

본격적으로 3가지 Scenario를 설명하기 전, 모델 실험 및 테스트 결과를 원활히 비교할 수 있도록 규칙 몇 개를 제시하고 있다.

1. 성능 비교를 위한 모델은 Single Neural Network로 정의한다.
2. Continual Learning을 위해 학습될 각 task는 순차적으로 일련의 과정을 거쳐 학습되어야 한다.
3. 과거 task에서 사용한 data는 현재 또는 미래의 task에서 사용할 수 없다.
4. 각 task는 명확하게 구분되어야 한다.

Three Scenarios

Overview of the three continual learning scenarios

3개의 Scenarios는 Task-IL, Domail-IL, Class-IL 로 구분된다. 각 scenario는 크게 2가지 질문을 통해 정의된다.

Three Scenarios for Continual Learning

첫 번째 질문은 "At test time, is context identity know?" 이다. 즉, 모델 성능을 평가할 때 모델 성능을 판단하는 질문 안에 task의 내용을 내포하고 있는지를 물어보는 것이다. 이때 "예" 라는 대답이 나오면 Task-IL 방식이 된다. 이어 두 번째 질문은 "Must context identity be infferd?"로, 첫 번째 질문에서 "아니오" 라는 대답이 나온다면 추가로 던지는 질문이다. 이것은 모델 성능 평가 시, 성능 판단 질문에 task 내용이 포함되어 있지 않다면 이를 추론해야 하는지 물어보는 것이다. "아니오" 라는 대답이 나온다면 Domail-IL이, "예" 라는 대답이 나온다면 Class-IL이 된다.

 

이렇게만 설명하면 너무 추상적이니 Continual Learning 예시 하나와 함께 좀 더 자세히 설명해보겠다.

Schematic of split MNIST task protocol.

위 예시는 MNIST 데이터셋의 10개 클래스를 총 2개 클래스씩 나누어 5개의 task를 만든 것이다. 모델은 task 1부터 task 5까지 차례대로 학습하게 되고 여기서 중요한 건 task 5를 학습할 때 task 1~4 내용을 모두 기억하고 있어야 한다는 것이다. 

 

task 1부터 task 5까지 학습한 모델 3개가 있다고 가정해보자. 이때 각 모델은 모두 같은 학습 방법으로 학습되어 같은 결과를 출력했다. 첫 번째 모델 결과를 평가하는 방식은 특정 task에서 나온 test image가 몇 번 클래스에 속하는지 알아보는 것이다. 즉, 어떤 test image가 task 3에서 나온 이미지라면 해당 데이터의 클래스는 1(숫자 4)과 2(숫자 5) 중 어디에 속하는지 알아내는 것이다. 이게 Task-IL이 된다.

 

두 번째 모델 평가 방식은 어떤 test image가 있을 때 어떤 클래스에 속하는지 물어보는 것이다. 이때 중요한 것은 해당 데이터가 어떤 task에 해당하는지 알 수 없으며 또한 평가할 때에도 굳이 알 필요가 없다는 것이다. 다시 말해 위 예시에선 해당 이미지가 짝수인지, 홀수인지 판단하는 게 모델 평가 방식이 되는 것이다. 이를 Domail-IL 이라 한다.

 

마지막 Class-IL은 test image가 어떤 task에 속하는 어떤 class 인지 맞춰야 하는 것이다. 즉, [5] 라는 이미지가 주어졌다면 모델은 "task 3에 속하는 2번 class 이다." 라고 답해야 한다는 것이다. 따라서 Class-IL에서 높은 성능을 가지는 게 가장 어려운 방법이 되는 것이다.

 

Example Task Protocols

3가지 Scenario를 설명하면서 들은 예시는 논문에서 이 3가지 방법을 가지고 모델을 평가하기 위해 만든 예시 task protocol이다. 총 2가지 protocol을 소개했는데, 하나는 앞서 언급한 Classify MNIST-digist 이고 나머지 하나는 Classify 'Permuted MNIST' 이다.

Classify MNIST-digist

split MNIST task protocol

먼저, MNIST-digist Classification이다. 위에서 설명한 예시로 0~9까지의 이미지 데이터를 2개씩 묶어 구분하는 task 5개로 나누었다. 순서대로 Continual Learning으로 학습을 진행해준다. 해당 protocol에서 각 scenario는 다음과 같다.

• Task-IL : n번째 task의 image I가 주어졌을 때, I의 class는 몇 번째 class인가?
• Domain-IL : test image I의 class는 무엇인가? (몇 번째 task인지는 중요하지 않다)
• Class-IL : test image I는 몇 번째 task의 몇 번째 class인가?

Classify Permuted MNIST

permuted MNIST task protocol

다음 protocol은 Permuted MNIST Classification으로, task 하나 당 0~9까지 총 10개 class로 이루어져 있으며 각 task마다 pixel에 다른 permutation이 적용되었다. 해당 protocol에서 각 scenario는 다음과 같다.

• Task-IL : test image I의 permutation X가 주어졌을 때, 이 이미지의 class는 무엇인가?
• Domain-IL : test image I의 class는 무엇인가? (permutation 정보는 중요하지 않다)
• Class-IL : test image I의 permutation과 class는 무엇인가?

Strategies for Continual Learning

본 논문에서 제시하고 있는 3가지 방법은 모두 Continual Learning을 평가하는 방법들이다. 이 방법들이 잘 적용되는지 실험하기 위해 위에서 본 2가지 protocol을 총 6가지 Continual Learning 학습 전략에 적용했다. 그렇게 나온 결과를 가지고 Scenario를 적용해 모델 실험을 진행하였다. 이 부분은 6가지 Continual Learning 학습 전략이 무엇인지 소개하는 글이다.

Task-specific Components

Catastrophic Forgetting이 발생하는 이유에 대해 생각해보면 새로운 task를 학습해 network의 parameter가 새로운 task에만 최적화되어 이전 task 정보를 잃어버린 경우를 쉽게 떠올릴 수 있다. 이는 다시 말하면 새로운 task를 학습할 때 parameter를 모조리 다 최적화시키는 것이 아닌 일부 뉴런에 대해서만 최적화하는 것이다. 대표적인 방법으로 XdG(Context-dependent Gating)이 있다.

Task-specific Components

XdG는 task 별로 network의 일부 neuron을 차단(gating)해 각 task를 학습할 때 모델의 다른 부분을 사용해 학습하도록 하는 것이다. 예를 들어, task 1에서 network의 전체 neuron의 70%를 사용하고 task 2에선 이전에 사용하지 않은 neuron을 포함한 새로운 70%를 사용하여 학습하는 것이다.

Regularized Optimization

Task-specific Components와 비슷한 방법으로 Regularized Optimization이 있다. 이는 network parmeter를 차단하는 게 아닌 각 task 마다 network의 parameter를 다르게 정규화하는 방법이다. 대표적으로 EWC(Elastic Weight Consolidation)과 SI(Synaptic Intelligence)가 있다.

Regularized Optimization

EWC와 SI는 모두 task 학습이 완료된 후 어떤 parameter가 중요한지 측정하고 중요하다고 판단된 parameter가 다음 task 학습 시 크게 변경되지 않도록 panelty를 부여하는 방법이다. 단, EWC와 SI는 parameter 중요도를 계산하는 방법에서 차이점을 가진다.

Modifying Training Data

다음은 이전 task에서 학습한 data와 유사한 psedo-data를 만들어 현재 task에서 사용되는 기존 data와 함께 학습을 하는 방법으로 Replay라 불리운다. 대표적으로 LwF(Learning without Forgetting)와 DGR(Deep Generative Replay) 방법이 있다.

 

Learning without Forgetting

LwF는 새로운 task를 학습할 때, 이전 task를 대표하는 pseudo-data를 생성하는데 이전 task model의 예측값을 참조해 만들어내게 된다. 이를 통해 이전 task 정보를 유지할 수 있도록 돕는다.

 

Deep Generative Replay

DGR도 마찬가지로 이전 task를 대표하는 pseudo-data를 생성하는데 이때 VAE나 GAN과 같은 생성 모델을 사용해 만들어내는 방법이다. 

Using Exemplars

이 방법은 이전 task의 데이터를 저장할 수 있을 때 저장된 데이터를 Exemplars(예제)로 사용하는 방법이다. 대표적인 방법으론 iCaRL(Incremental Classifier and Representation Learning)이 존재한다.

Incremental Classifier and Representation Learning

iCaRL은 각 task마다 데이터 일부를 저장하고 새로운 task를 학습할 때 저장된 데이터를 재사용하는 방법이며, 저장된 데이터는 feature space에서 가장 가까운 class를 찾는데 사용된다.

Experiments & Result

각 protocol에 대한 실험 결과는 다음과 같다.

Average test accuracy on the split MNIST task protocol

먼저, Classify split MNIST task로 실험 결과를 통해 각 Scenario 별 난이도 차이가 분명하게 나타나는 걸 확인할 수 있다. Task-IL은 모든 방법에 대해서 높은 성능을 가지지만 LwF와 Regularization(EWC, SI)은 Domain-IL에서 낮은 성능을 보이고 Class-IL에선 완전히 실패했다는 걸 알 수 있다. 반면, Replay(DGR, iCaRL) 방법은 Domain-IL, Class-IL에서 90% 이상의 좋은 성능을 보이고 있다. 즉, Replay 기법이 Regularization 기법보다 Continual Learning에 효과적이었다는 걸 알 수 있다.

 

Average test accuracy on the permuted MNIST task protocol

다음 protocol인 Classify permuted MNIST는 LwF를 제외한 모든 방법이 Task-IL과 Domain-IL에서 좋은 성능을 보인다는 걸 확인할 수 있다. Class-IL의 경우, Regularization에선 낮은 성능을 Replay 기법에선 높은 성능을 보이고 있다. 또한 LwF 기법이 해당 task에서 모두 다 낮은 성능을 보이는 걸 확인할 수 있는데 이는 무작위 순열로 인해 다른 task의 입력과 상관관계가 없기 때문에 낮은 성능을 보인다고 할 수 있다.

Conclusion

이번 논문은 Continual Learning에 대해 살펴볼 수 있었다. 대충 이전 정보를 기억하며 학습을 이어나가는 방법이라고만 알고 있었고 여기에 사용되는 방법론이나 평가 방식에 대해선 잘 몰랐는데 이번 기회에 공부할 수 있어 많은 도움이 되었다. 다음 논문은 본 논문에서 언급된 Continual Learning의 여러 방법들에 대해 좀 더 자세히 공부하기 위한 논문들로 리뷰를 진행하려 한다.