您的位置首页生活百科

关于切比雪夫不等式(Chebyshev's inequality)?

关于切比雪夫不等式(Chebyshev's inequality)?

的有关信息介绍如下:

关于切比雪夫不等式(Chebyshev's inequality)?

Chebyshev 不等式是由俄罗斯数学家彼得·切比雪夫(Pafnuty Chebyshev)于 1867 年提出的一个重要不等式。它提供了一种估计随机变量与其均值之间的关系,并在概率论与统计学中有着广泛的应用。

Markov/Chebyshev 不等式的思想基于将随机变量的分布大于一个常数的部分放缩成 (如图,在截断的右侧全部看成 。

我们知道对于任意常数 ,任何非负可积随机变量 都满足不等式:

这句话的意思就是把的部分缩小到 , 对于每个 ,所以

这是Markov不等式所知的结果。当 时,对于任意 随机变量 ,其均值为 ,方差为 ,根据Markov不等式有,

即著名的Chebyshev不等式。单边界限

可立即得出。但我们想更好的放缩这个不等式,我们发现我们截断的地方 c 和不等式左侧的误差一样,但是如果放缩的截断点稍微改变的话,我们可以待定系数。可以更好地处理——对于任何 t ,

而最佳的 (通过求导来找到)并不完全为零。

使用最佳的 ,

略微优于方程(3)的改进。

应用Markov不等式并选择最优参数(这里是 )的技术可以非常强大。

在测度空间 中,设 是定义在 上的可测的扩展实值函数。那么对于任意实数 和 ,有:

更一般地,如果 是一个非负的、非减的、定义在 上的可测扩展实值函数,并且 ,那么:

然后,通过将 定义为 (如果 ),并在其他情况下定义为 ,可以得出前述的结论。

在应用中, 我们经常会把变成,其中是一个单调增函数,我们把它看成一个新的随机变量。例如:

(Chernoff边界). 设 是在取值的一个随机变量,其中 的概率为 的概率为 ,且所有的 是独立的。设 。那么 (i) 上尾分布(上界):对于所有的 ,有 ; (ii) 下尾分布(下界):对于所有的 ,有 。

注意,下尾部分布和上尾部分布有略微不同的形式。有趣的是,这是由于放缩方式的不同,它归结为使用对数函数的不同近似。存在更一般的版本的这个界限,其中这种不对称性不存在,但它们更加复杂,因为它们涉及到指数的分布的熵。

证明: 我们首先专注于对于 时的 进行界定。我们有 对于所有的 成立。我们稍后会选择一个最优的 值。根据Markov不等式,我们有:

如果我们假设没有任何 是 或 ,那么这个不等式实际上是严格的。然后由于 是独立的:

我们可以明确地计算 :这个随机变量是 的概率是 ,否则是 ,也就是说,概率为 ,因此这等于:

我们有 对于所有的 成立。只要至少有一个 ,

于是有:

现在是选择 的时候了, 我们要选择一个对我们最有利的。对右侧进行微分,我们发现在 处达到最小值,当 为正时,这个值也是正的。这个 的值导致了Chernoff界限:

以下是期望值。我们使用相同的技术来界定 对于 。我们有:

对于任意的 。我们应用Markov不等式,使用近似 ,然后选择最小的边界,我们有:

我们在上界的处理中用到了这个经过变换后的单调随机变量来控制我们想要的界。