AI / ML

1. Motivation Variational Auto-Encoder(VAE)에서 KL Divergence가 Loss term에 있는데, 이것을 이해하기 위해 공부를 시작했습니다. 본 포스팅에서는 1차원의 가우스 분포(univariate Gaussian distribution)를 다룹니다. 2. Definition $$시작하기 \,앞서 \, P는\, \, 평균\, { \mu }_{ 1 }\, 과\, 분산\sigma _{ 1 }를 \,갖고 \,Q는 \,평균\, { \mu }_{ 2 }과 \,분산\sigma _{ 2 } 를 \,갖는 \,정규분포라고 \,가정을 \,합니다.$$ $$P=N({ \mu }_{ 1 },{ \sigma }_{ 1 })\\ Q=N({ \mu }_{ 2 },{ \sigma }_{ 2 })..

Contents 1. Matrix Multiplication (4 ways!) 2. Inverse Matrix 1. Matrix Multiplication 1) inner product (regular) 2) (important) column operation 3) (important) row operation 4) external product 2. Inverse Matrix 1) definition 2) singular case reason for A is not invertible 행렬안의 두 벡터(row or column)가 dependent하다면 linear combination(선형조합)으로 모든 벡터를 만들 수는 없습니다. 3) non-singular case reason for A is i..

Contents 1. Elimination 2. Back Substitution 3. Matrix Multiplication 4. Elimination Matrices 1. Elimination 아래 방정식을 풀어보겠습니다. 방정식을 Augmented Matrix 형태로 나타내면 아래와 같고 행연산을 통해 좌측으로부터 최대한 많은 0을 만들어줍니다. 2. Back Substitution Augmented Matrix를 Elimination 연산을 하여 나온 결과 값을 다시 방정식 형태로 나타내면 아래와 같습니다. 아래 방정식에서는 밑에서 위쪽으로 올라오면서 순서대로 z, y, x의 해를 구할 수 있습니다. 밑에서 부터 위쪽으로 올라오면서 해를 구하는 것을 Back Substitution이라고 합니다. 3..