1.引入

  极大似然估计，我们也把它叫做最大似然估计(Maximum Likelihood Estimation)，英文简称MLE。它是机器学习中常用的一种参数估计方法。它提供了一种给定观测数据来评估模型参数的方法。也就是模型已知，参数未定。   在我们正式讲解极大似然估计之前，我们先简单回顾以下两个概念：

• 概率密度函数(Probability Density function),英文简称pdf

• 似然函数(Likelyhood function)

2.概率密度函数

  连续型随机变量的概率密度函数(pdf)是一个描述随机变量在某个确定的取值点附近的可能性的函数(也就是某个随机变量值的概率值，注意这是某个具体随机变量值的概率，不是一个区间的概率)。给个最简单的概率密度函数的例子，均匀分布密度函数。 对于一个取值在区间[a,b]上的均匀分布函数$I_{[a,b]}$,它的概率密度函数为: $$ f_{I}{{[a,b]}}(x)=\frac{1}{b-a}I{[a,b]} $$ 其图像为：

其中横轴为随机变量的取值，纵轴为概率密度函数的值。 也就是说，当x xx不在区间[ a , b ] 上的时候，函数值为0，在区间[ a , b ]上的时候，函数值等于$\frac{1}{b-a} $ ，函数值即当随机变量X = a 的概率值。这个函数虽然不是完全连续的函数，但是它可以积分。而随机变量的取值落在某个区域内的概率为概率密度函数在这个区域上的积分。 Tips:

• 当概率密度函数存在的时候，累计分布函数是概率密度函数的积分。

• 对于离散型随机变量，我们把它的密度函数称为概率质量密度函数

• 对概率密度函数作类似福利叶变换可以得到特征函数。特征函数与概率密度函数有一对一的关系。因此，知道一个分布的特征函数就等同于知道一个分布的概率密度函数。(这里就是提一嘴，本文所讲的内容与特征函数关联不大，如果不懂可以暂时忽略。)

3. 似然函数

似然（likelihood） 这个词其实和 概率（probability） 是差不多的意思，Colins字典这么解释：The likelihood of something happening is how likely it is to happen. 你把likelihood换成probability，这解释也读得通。但是在统计里面，似然函数和概率函数却是两个不同的概念（其实也很相近就是了）

对于这个函数：$p(x|\theta)$

输入有两个：x表示某一个具体的数据；θ 表示模型的参数。

• 如果θ 是已知确定的，x 是变量，这个函数叫做概率函数(probability function)，它描述对于不同的样本点x，其出现概率是多少。
• 如果x 是已知确定的，θ 是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数，出现x这个样本点的概率是多少。

这有点像“一菜两吃”的意思。其实这样的形式我们以前也不是没遇到过。 例如，$ f(x,y)=x^y$, 即x的 y次 方 。

• 如果x是 已 知 确 定 的 (例如x = 2) ，这就是 $f(y) = 2^y$, 这 是 指 数 函 数 。
• 如果y是 已 知 确 定 的 (例如y = 2) ，这就是$f(x) = x^2$，这是二次函数。

同一个数学形式，从不同的变量角度观察，可以有不同的名字。

4.最大似然估计