Bất đẳng thức Pinsker

Trong lý thuyết thông tin, bất đẳng thức Pinsker, đặt tên theo Mark Semenovich Pinsker, là một bất đẳng thức liên hệ khoảng cách Kullback-Leibler và khoảng cách $\ell _{1}$. Nếu $P,Q$ là hai phân bố xác suất thì

$2D(P\Vert Q)\geq \Vert P(A)-Q(A)\Vert _{1}^{2}$

trong đó $D(P\Vert Q)$ là khoảng cách Kullback-Leibler theo đơn vị nat và $\Vert P(A)-Q(A)\Vert _{1}$ là khoảng cách $\ell _{1}$.

Tham khảo

• Cover, Thomas M.; Thomas, Joy A. (2006). Elements of Information Theory (ấn bản 2). Willey-Interscience.
• Cesa-Bianchi, Nicolo; Lugosi, Gábor (2006). Prediction, Learning, and Games. Cambridge University Press.