Wasserstein distance에 대하여

Wasserstein distance에 대해 알아보자. Wasserstein distance는 두 분포를 coupling 하였을 때 이 두 분포사이의 거리를 의미한다. 말로만 하면 어려우니 차근 차근 알아보자.

목차

cost function에 대해 알아보자.

유클리드 공간 $\mathbb{R}^d$에 대해 생각하자. convex인 함수 $c: \mathbf{R}^d \times \mathbf{R}^d \to \mathbf{R}_+ $를 cost function이라고 부른다. 

coupling에 대해 알아보자.

확률분포 $p_0(x)$, $p_1(y)$이 있다고 하자.  그런데 각각의 marginal $p_0$, $p_1$이 되는 joint distribution $\gamma $가 존재할 수 있다. 이러한 $\gamma$를 coupling이라 부른다. 그리고 이러한 $\gamma$를 모아둔 set을 $\Gamma(p_0, p_1)$이라고 표시한다.

이제 Wasserstein distance정의하자

cost function이 $c$이고 주어진 분포가 $p_0,p_1$일 때 이것에 대한 Wasserstein distance는 아래와 같다.

$$W_c (p_0, p_1) = \min_{\gamma \in \Gamma(p_0,p_1)} E_{\gamma} \left[ c(x,y) \right]$$