全變差距離

概率論中,全變差距離(英語:total variation distance)是概率測度的一種距離。它也是一種統計距離度量,有時也稱為統計距離(英語:statistical distance)或變差距離(英語:variational distance)。

定義

 是樣本空間 的一個子集上的σ代數,兩個概率測度   上的全變差距離定義為[1]

 

粗略地說,這是兩個概率分布在同一事件上取值的最大差值。

性質

與其他距離的關係

全變差距離通過Pinsker不等式與Kullback-Leibler散度相聯繫:

 

當樣本空間 是可數集的時候,全變差距離與 範數有等式關係[2]

 

另見

參考文獻

  1. ^ Chatterjee, Sourav. "Distances between probability measures" (PDF). UC Berkeley. Archived from the original (PDF) on July 8, 2008. Retrieved 21 June 2013.
  2. ^ David A. Levin, Yuval Peres, Elizabeth L. Wilmer, 'Markov Chains and Mixing Times', 2nd. rev. ed. (AMS, 2017), Proposition 4.2, p. 48.