直觉上就和随机变量的方差是正的一个道理,严格的证明如下:
设随机变量为X(都是n维的假设,且都是列向量),其方差-协方差矩阵为:
E(XX') - E(X)E(X')
= E { [X - E(X)] [X' - E(X')] },
这是因为你展开后,大括号里就是XX' - E(X)X' - XE(X') + E(X)E(X'),然后外面取E:
E [ XX' - E(X)X' - XE(X') + E(X)E(X') ]
= E(XX') - E(X)E(X') - E(X)E(X') + E(X)E(X')
= E(XX') - E(X)E(X')。
这样,协方差矩阵就表示为一个二次型的形式,因为X' - E(X')正好就是X-E(X)的转置向量。我们都知道形如AA'的二次型都是半正定的,所以求期望后也是半正定的。证毕。