ysk1m 님의 블로그

개념 설명을 위해 성민혁 교수님 ppt자료를 수정하여 재작성한 것입니다. 앞서 말한 VAE에서 처럼 직접 계산할 수 없기 때문에 하한선(lower bound)을 이용하여 \(log(P_0)\)를 모델링합니다.여기서 먼저 Consistency term부터 살펴보겠습니다.Consistency term은 시점 t에 대해 forward step과 reverse step이 동일하게 만드는 것입니다.하지만 이 경우 보시는 것처럼 2개의 random variables에 대해 계산을 해야 하기 때문에 computaionally 비쌉니다. 계산복잡도를 줄이기 위해 random variables이 2개인 상황을 피할 방법을 찾아야 합니다.그래서 ELBO 식을 Marcov process임을 이용하여 재구성합니다.다음과 같이..

성민혁 교수님 강의를 보고 공부한 내용. 일단 처음 배우면 너무 어지러워서 뭘 배우려하는지, 어떻게 배우려하는지를 중심으로 정리해보았다. VAE가 구하려하는 것 이미지를 생성하려고 하는데, 그 이미지가 생성될 확률을 구하는 것이다. 즉, VAE는 실제 이미지 \(x\)에 대해 \(P(x)\)를 알아내려하는 것이다. 우리가 설계한 모델이 실제 이미지 \(x\)만큼 얼마나 잘 표현하고 있는지를 보는 것이다. 그럼 \(P(x)\)를 구하는 방법에 대해 알아보자.\(Monte-Carlo method\)를 이용해서 구하기먼저, \(Monte-Carlo\) 방법을 이용해서 구할 수있다.다음과 같이 표현할 수있는데구간에 대해 균등하게 random number를 샘플링해서 적분을 근사하는 것이다.하지만 정확도를 높이려..