AI / ML

1. Motivation Variational Auto-Encoder(VAE)에서 KL Divergence가 Loss term에 있는데, 이것을 이해하기 위해 공부를 시작했습니다. 본 포스팅에서는 1차원의 가우스 분포(univariate Gaussian distribution)를 다룹니다. 2. Definition $$시작하기 \,앞서 \, P는\, \, 평균\, { \mu }_{ 1 }\, 과\, 분산\sigma _{ 1 }를 \,갖고 \,Q는 \,평균\, { \mu }_{ 2 }과 \,분산\sigma _{ 2 } 를 \,갖는 \,정규분포라고 \,가정을 \,합니다.$$ $$P=N({ \mu }_{ 1 },{ \sigma }_{ 1 })\\ Q=N({ \mu }_{ 2 },{ \sigma }_{ 2 })..

이번 포스팅에서는 Andrew Ng의 Coursera-Machine Learning 강의를 참고하여 Neural Network의 학습 알고리즘인 BackPropagation의 수식을 유도해보겠습니다. BackPropagation Algorithm에서는 cost function이 최소가 되도록 하는 weight값들을 찾는데 이 때 gradient descent가 사용됩니다. 학습하려는 변수는 input layer와 hidden layer 사이에 있는 weight값들과 hidden layer와 output layer 사이에 있는 weight값들 입니다. 1. Weights between hidden layer and output layer 우선 hidden layer와 output layer사이에 있는 we..

Contents 1. Matrix Multiplication (4 ways!) 2. Inverse Matrix 1. Matrix Multiplication 1) inner product (regular) 2) (important) column operation 3) (important) row operation 4) external product 2. Inverse Matrix 1) definition 2) singular case reason for A is not invertible 행렬안의 두 벡터(row or column)가 dependent하다면 linear combination(선형조합)으로 모든 벡터를 만들 수는 없습니다. 3) non-singular case reason for A is i..

Contents 1. Elimination 2. Back Substitution 3. Matrix Multiplication 4. Elimination Matrices 1. Elimination 아래 방정식을 풀어보겠습니다. 방정식을 Augmented Matrix 형태로 나타내면 아래와 같고 행연산을 통해 좌측으로부터 최대한 많은 0을 만들어줍니다. 2. Back Substitution Augmented Matrix를 Elimination 연산을 하여 나온 결과 값을 다시 방정식 형태로 나타내면 아래와 같습니다. 아래 방정식에서는 밑에서 위쪽으로 올라오면서 순서대로 z, y, x의 해를 구할 수 있습니다. 밑에서 부터 위쪽으로 올라오면서 해를 구하는 것을 Back Substitution이라고 합니다. 3..