Likelihood & MLE

Likelihood

Likelihood를 한국어로 번역하면 '(어떤 일이 있을) 가능성' 이다. 그렇다면 통계에서 Likelihood는 어떤 가능성일까?

 

데이터 X가 해당 분포에서 나왔을 가능성(확률)은?

 

바로, 데이터 $\boldsymbol{X=\{x_1, x_2, x_3, x_4, x_5\}}$ 가 확률 분포 $\boldsymbol{P}$ 에서 나왔을 가능성 이다.

 

Probability vs. Likelihood

통계에서 '가능성'이라 하니 Probability(확률)가 생각난다. Probability와 Likelihood는 둘 다 '무언가 일어날 가능성'을 뜻한다.

대신, Probability는 어떤 사건이 일어날 가능성을 말하고 Likelihood는 어떤 사건이 어디에서 일어날 가능성을 말한다.

 

눈금이 6개인 주사위를 던졌을 때 숫자 1 이나 2가 나올 가능성은 Probability(확률)이고, 어떤 주사위를 던져 2가 나왔을 때 눈금이 6개인 주사위를 던져서 나왔을 가능성 혹은 눈금 10개 주사위에서 나왔을 가능성을 보는 건 Likelihood(가능도)가 되는 거다. 

 

즉, Probability에선 특정 확률 분포에서 어떤 사건이 일어날 가능성이고 (확률 분포는 고정, 사건은 변화)

Likelihood에선 특정 사건이 있을 때 그 사건이 어떤 확률 분포에서 일어났을 가능성 (사건이 고정, 확률 분포는 변화) 인 것이다.

 

이제 우리가 원하는 건 Likelihood를 사용해 주어진 데이터를 가장 잘 설명하는 확률 분포를 찾는 것이다.

Likelihood는 전체 데이터가 아닌 일부 데이터만 주어졌을 때, 이 데이터들을가장 잘 설명하는 확률 분포를 찾기 위해 사용되어진다. 그렇기에 이 데이터가 어떤 확률 분포에서 나왔을 것이라 가정하고, 그 분포에서 데이터가 발생할 가능성(=확률)을 계산해 그 가능성이 제일 큰 확률 분포를 찾아간다.

 

Likelihood Function

 

위 그림은 두 개의 확률 분포를 그린 것이다. 두 분포 모두 데이터 $X$를 포함하고 있다. 이 때, $X$를 더 잘 설명하고 있는 확률 분포는 무엇일까?

 

해당 분포에서 각 데이터들이 발생할 확률에 대해 계산한 다음, 그 값들을 비교해보자. 각 분포 당 5개의 확률 값이 나올테고 이 값들을 비교하기 위해 하나의 값으로 만들어야 한다.

Likelihood에서 데이터들은 독립적으로 연달아 추출된 데이터(사건)이므로 곱으로 계산해준다. 이 과정을 아래와 같은 수식으로 표현할 수 있다.

확률의 곱으로 이루어진 Joint Probability

 

즉, 주어진 데이터를 가장 잘 설명하는 확률 분포를 찾는 방법은 Likelihood Function 값이 가장 클 때의 Parameter $\theta$ 값을 찾는 것이다.

 

Log-Likelihood Function

 

보통 Likelihood Function을 계산 편의성을 위해 Log-Likelihood Function으로 바꾸어 계산해준다.

이렇게 바꾸어 계산하게 되면 Likelihood 계산을 곱이 아닌 덧셈으로 진행하게 되어 연산량이 감소한다. 뿐만 아니라, Likelihood는 확률을 사용해 계산되는데 확률은 0에서 1 사이의 값이므로 곱할수록 0에 가까워지는 수치적 불안정함이 있다. 이를 덧셈 형태로 변경해 불안정성을 완화하는 역할도 하게 된다.

 

MLE (Maximum Likelihood Estimation)

Likelihood Function 값이 최대가 되게 하는 Parameter $\theta$ 값을 찾는 방법이 MLE(Maximum Likelihood Estimation) 이다.

 

함수의 최대값을 찾기 위해 미분계수를 활용한다.

Likelihood Functoin을 최대화 시켜주는 $\theta$ 값을 찾기 위해 해당 함수를 $\theta$로 편미분하고 그 값이 0이 되도록 하는 $\theta$ 값을 찾게 되면, Likelihood Function 값을 최대일 때의 $\theta$를 구할 수 있게 된다.

 

이 과정을 통해 Parameter $\theta$ 값을 구하게 되고 그 $\theta$으로 구성된 확률 분포가 데이터 $X$를 가장 잘 설명하는 확률 분포가 될 것이다.

 

 

💡 Reference

 

1. https://xoft.tistory.com/30

[개념 정리] Likelihood 와 Probability

 

2. https://angeloyeo.github.io/2020/07/17/MLE.html

최대우도법(MLE) - 공돌이의 수학정리노트 (Angelo's Math Notes)