Cross Entropy Derivation
·
인공지능
Binary Cross Entropy$y$를 ground truth값, $\hat{y}$를 estimation값, $p=P(y=1)$, $\hat{p}_\theta$는 $p$를 parameterized한 함수라고 하자.그다음 $y=0$일때와 $y=1$일때 각각의 likelihood 함수를 구해보자. 1) $y=0$일때는 $y=0$인 샘플들만 있을 것이고 likelihood 함수는 다음과 같다.$$L^{}_{\theta} = 1 - \hat{p}_\theta$$2) $y=1$일때 $L^{}_\theta$는 다음과 같다.$$L^{}_\theta = \hat{p}_\theta$$ $L^{}_\theta$과 $L^{}_\theta$를 합치고 log-likelihood를 구하면 다음과 같다.$$L_\theta =..