【知识补充】似然函数定义、理解和最大似然函数

似然函数（Likelihood Function）

似然函数是统计学中一个重要的概念，用来描述在已知观测数据的条件下，模型参数的不同取值的可能性。简单来说，似然函数帮助我们衡量在给定数据的情况下，模型参数有多可能是某个特定值。

1. 似然函数的定义

给定一个 参数 $( \theta )$ 和 观测数据 $( x )$，似然函数 $( L(\theta | x) )$ 表示在给定数据 $( x )$ 的情况下，参数 $( \theta )$ 的取值有多可能：

$[
L(\theta | x) = P(x | \theta)
]$

这里，$( P(x | \theta) )$ 是 概率密度函数（pdf） 或 概率质量函数（pmf），表示在给定参数 $( \theta )$ 的情况下，数据 $( x )$ 出现的概率。

2. 似然函数的用途

• 参数估计：似然函数最常用的应用是 最大似然估计（Maximum Likelihood Estimation, MLE），即通过最大化似然函数来估计参数 $( \theta )$。具体步骤是：给定数据 $( x )$，找到使似然函数最大的参数值 $( \hat{\theta} )$。

$[
\hat{\theta} = \arg\max_{\theta} L(\theta | x)
]$

• 模型选择：通过比较不同模型的似然函数值，可以选择最适合数据的模型。

3. 举个例子

假设我们想用正态分布来建模某一数据集，正态分布的概率密度函数为：

$[
P(x | \mu, \sigma^2) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right)
]$

其中，$( \mu )$ 是均值，$( \sigma^2 )$ 是方差。如果我们有一组数据 $( { x_1, x_2, …, x_n } )$，则似然函数为所有数据点的联合概率：

$[
L(\mu, \sigma^2 | x_1, x_2, …, x_n) = \prod_{i=1}^{n} P(x_i | \mu, \sigma^2)
]$

通过最大化这个似然函数，我们可以估计出 $( \mu )$ 和 $( \sigma^2 )$ 的值。

4. 常见的似然函数

• 正态分布：正态分布的似然函数是所有观测值的概率密度的乘积，通常用于估计均值和方差。
• 伯努利分布：用于描述二项分布的单次试验，似然函数表示的是观察到的“成功”的次数和总试验次数。

总结：

• 似然函数 是统计模型中用来衡量不同参数值如何解释给定数据的工具。
• 它的主要作用是估计模型参数，通过最大化似然函数来找到最有可能的参数。

---

自己理解

• 系统有一个参数比如角度𝜃，通过观测得到了一组数据x1-x5；并且这组数据的概率密度函数为p（x1）-p（x5）
• 则这组随机观测的数据得到的似然函数为L（𝜃|x）=p（x1）…p(x5);
• 为了求解观测后的系统𝜃，我们相信概率之神，相信我们抽到的就是最好的结果，则令L（𝜃|x）最大
• 即为最大似然函数
• 这点更好的理解在于概率论中
• 这个视频可以帮助理解简单似然 https://www.bilibili.com/video/BV1Hb4y1m7rE/?spm_id_from=333.337.search-card.all.click&vd_source=af5ac54ccaa04593572dbf52fbcbf3b7