《概率统计分析及量测技术》共同笔记 ==== https://hep.tsinghua.edu.cn/~orv/teaching/statistics/ ## 2024-12-04 泊松回归 - p.11 二项的连接函数有误？ \mu/N ## 2024-11-25 方差分析 - p24, $X_{ij\cdot}$ - p21 ## 2024-11-20 假设检验 ## 2024-11-13 点估计评价 充分统计量用来构造一致有效估计量 ## 2024-11-11 点估计 实际上直接使用中心矩更简单。 ### 勘误 - p15, $\hat{\vec{\theta}}$ - p16, $x>0$ ## 2024-10-28 关于指数分布族期望和方差的证明 周末了又思考了一下前面提出的猜想，发现是可以证明出一般结论的！ 首先写出概率密度函数：$f(x|\vec\eta)=h(x)\exp[\sum\eta_iT_i(x)-A(\vec\eta)]$ 对$\eta_i$求偏导： $\frac{\partial f}{\partial \eta_i}=h(x)\exp[\sum\eta_iT_i(x)-A(\vec\eta)][T_i(x)-\frac{\partial A}{\partial \eta_i}]=f(x|\vec\eta)[T_i(x)-\frac{\partial A}{\partial \eta_i}]$ 这时候$T_i(x)$乘在了原来的概率密度函数旁边，期望的样子呼之欲出，我们可以很自然地想到两边做一个积分： $\int^{+\infty}_{-\infty}\frac{\partial f}{\partial \eta_i}\mathrm{d}x=\int^{+\infty}_{-\infty}T_i(x)f(x|\vec\eta)\mathrm{d}x-\frac{\partial A}{\partial \eta_i}\int^{+\infty}_{-\infty}f(x|\vec\eta)\mathrm{d}x=E(T_i(X))-\frac{\partial A}{\partial\eta_i}$ 下面一步推导是最巧妙的，我们给左面的求偏导和积分换个序（这当然要求函数具有某些性质，详见微积分A/高等微积分，我们研究的大多数分布具有这样的性质大抵是不难的）： $\int^{+\infty}_{-\infty}\frac{\partial f}{\partial \eta_i}\mathrm{d}x=\frac{\partial}{\partial \eta_i}[\int^{+\infty}_{-\infty}f(x|\vec\eta)\mathrm{d}x]=\frac{\partial}{\partial \eta_i}(1)=0$ 这里我得强调一下，$\int^{+\infty}_{-\infty}f(x|\vec\eta)\mathrm{d}x$对$\eta_i$求偏导是零不仅是因为积分的值是$1$，更重要的是参数$\vec\eta$不管怎么变$f(x|\vec\eta)$始终是一个归一化的概率密度函数。这是分布“族”的意义所在，是一个很强的隐含条件。 由上面两行积分的结果得到：$\frac{\partial A}{\partial\eta_i}=E(T_i(X))$ 我们乘胜追击算一下方差~ 对$\eta_i$求两次偏导（注意$\frac{\partial A}{\partial\eta_i}$已经是$E(T_i(X))$了哈）： $\frac{\partial^2 f}{\partial \eta_i^2}=h(x)\exp[\sum\eta_iT_i(x)-A(\vec\eta)]\{[T_i(x)-\frac{\partial A}{\partial \eta_i}]^2-\frac{\partial^2 A}{\partial \eta_i^2}\}=f(x|\vec\eta)\{[T_i(x)-E(T_i(X))]^2-\frac{\partial^2 A}{\partial \eta_i^2}\}$ 两边积个分： $0=\frac{\partial^2}{\partial \eta_i^2}[\int^{+\infty}_{-\infty}f(x|\vec\eta)\mathrm{d}x]=\int^{+\infty}_{-\infty}\frac{\partial^2 f}{\partial \eta_i^2}\mathrm{d}x=\int^{+\infty}_{-\infty}[T_i(x)-E(T_i(X))]^2f(x|\vec\eta)\mathrm{d}x-\frac{\partial^2 A}{\partial \eta_i^2}\int^{+\infty}_{-\infty}f(x|\vec\eta)\mathrm{d}x=D(T_i(X))-\frac{\partial^2 A}{\partial\eta_i^2}$ 于是：$\frac{\partial^2 A}{\partial\eta_i^2}=D(T_i(X))$ 至此，大功告成！猜想确实是正确的。 更重要的是我们通过上面的证明过程找到了指数分布族优越性质的来源：“指数”给出了良好的求导特性；“分布族”保证了变化的参数始终给出归一化的概率密度函数。NICE! by Z ### 双变量高斯 $f(x|\mu,\sigma)=\frac{1}{\sqrt{2\pi}\sigma}\exp[-\frac{(x-\mu)^2}{2\sigma^2}]=h(x)\exp[-\frac{x^2}{2\sigma^2}+\frac{\mu x}{\sigma^2}-\frac{\mu^2}{2\sigma^2}-\ln{\sigma}]$ 令$\eta_1=-\frac{1}{2\sigma^2}$，$\eta_2=\frac{\mu}{\sigma^2}$： $f(x|\eta_1,\eta_2)=h(x)\exp[\eta_1x^2+\eta_2x-(-\frac{\eta_2^2}{4\eta_1}-\frac{1}{2}\ln{\eta_1})]$，省略了不影响求导的常数，或者说归到$h(x)$里 $A(\eta_1,\eta_2)=-\frac{\eta_2^2}{4\eta_1}-\frac{1}{2}\ln{\eta_1}$ $\frac{\partial A}{\partial\eta_2}=-\frac{\eta_2}{2\eta_1}=\mu$，$\frac{\partial^2 A}{\partial\eta_2^2}=-\frac{1}{2\eta_1}=\sigma^2$ 这是课上导出来的$X$的期望和方差 试着对$\eta_1$求导试试： $\frac{\partial A}{\partial\eta_1}=\frac{\eta_2^2}{4\eta_1^2}-\frac{1}{2\eta_1}=\mu^2+\sigma^2$ 注意到：$\mu^2+\sigma^2=[E(X)]^2+D(X)=[E(X)]^2+E(X^2)-[E(X)]^2=E(X^2)$ 而$x^2$恰恰是与$\eta_1$相乘的东西！ 这样我们再算一下$\frac{\partial^2 A}{\partial\eta_1^2}$： $\frac{\partial^2 A}{\partial\eta_1^2}=-\frac{\eta_2^2}{2\eta_1^3}+\frac{1}{2\eta_1^2}=4\mu^2\sigma^2+2\sigma^4$ 搜了一下这好像正是$D(X^2)$ 这样似乎说得通了，我们是否可以猜想：$\frac{\partial A}{\partial\eta_i}=E(T_i(X))$，$\frac{\partial^2 A}{\partial\eta_i^2}=D(T_i(X))$呢？ （我不会证，孩子不懂事猜着玩的~ 如果猜想合理的话，上课时候老师考虑的给$\eta_i$和$T_i(x)$分配系数的问题也是自洽的。 假如$\eta_i^\prime=a\eta_i$，$T_i^\prime(x)=\frac{1}{a}T_i(x)$： 那么$\frac{\partial A}{\partial\eta_i^\prime}=\frac{\partial A}{\partial(a\eta_i)}=\frac{1}{a}\frac{\partial A}{\partial\eta_i}=\frac{1}{a}E(T_i(X))=E(\frac{1}{a}T_i(X))=E(T_i^\prime(X))$ 而且$\frac{\partial^2 A}{\partial\eta_i^{\prime2}}=\frac{\partial^2 A}{\partial(a\eta_i)^2}=\frac{1}{a^2}\frac{\partial^2 A}{\partial\eta_i^2}=\frac{1}{a^2}D(T_i(X))=D(\frac{1}{a}T_i(X))=D(T_i^\prime(X))$ 非常合理非常合理~ by Z 作为老师看到学生自发的推导非常开心 —— 续本达 ## 2024-10-28 课堂 特征函数推期望方差 搞定了单变量高斯，还没有搞定两个变量的 $P(n|\lambda)=e^{-\lambda}\frac{\lambda^n}{n!}=\frac{1}{n!}\exp[n\cdot\ln\lambda-\lambda]$ $P(x|\alpha, \lambda)=\frac{\lambda^\alpha}{P(\alpha)}x^{\alpha-1}e^{-\lambda x}=\frac{\lambda^\alpha}{P(\alpha)}\exp\left[-\lambda x+(\alpha-1)\ln{x}\right]$ ## 2024-10-21 课堂 极限定理 今天的课程改在四教 4402 上课。 ## 2024-10-09 课堂 数学期望 - 视频资料：Google DeepMind 的机器学习与统计学入门讲座 https://www.youtube.com/watch?v=hlVayKW8v9M ## 2024-09-25 课堂 二维随机变量 早 2024年的课程回放在哪看啊 ### A: 临时上传了 29 号的，其它文件助教正在处理。 ## 2024-09-21 课堂 离散型随机变量及其分布 ## 2024-09-18 课堂 条件概率与独立事件 散步的例子中，事件是等可能的吗？有两个女儿的时候，是不是更可能和女儿出来散步？ - 原样本空间的基本事件是等可能的，但条件一旦发生，就确定地提供缩小的样本空间。二孩问题与条件本身发现的概率无关。 三门问题：关键是主持人是否有可能筛出汽车。极端的例子是，假设有100扇门，99个羊，主持人只能筛出羊，并且筛掉了另外98扇门后的羊。那么参赛者选择的门没被筛掉是由于他选定了，另外剩下的一扇门则更可能是由于它本身是汽车而survive了。 ## Q: 2024-09-15 关于作业中一道题目的疑问 > 任取两个正整数，求它们的和为奇数的概率 如何证明任取一个正整数，P(偶)=P(奇)=0.5 因为正整数的个数可以等于正偶数的个数 ### A: 无穷样本空间 当样本空间无穷时，不适合使用等可能概型。 ## Q: 2024-09-11 如何以赌博定义贝叶斯概率？ 课上没有讲清楚，应补全。 ## 条件概率与独立事件 2024-09-11 hedgedoc 无冲突编辑真太强了 呱呱呱 噶嘎嘎 咕咕咕 好腻害 9.18-GM 呱呱呱 ## 蒲丰投针问题——三角形情形 2024-9-11 问题描述： 平面上画有间隔为d的等距平行线，向平面上投掷一个边长为a、b、c（小于d）三角形，求三角形与平行线相交的概率。 <details> <summary>解答</summary> 记事件A、B、C分别为边a、b、c与平行线相交 则所求为: $$P(A \bigcup B \bigcup C)$$ 注意到: 1.三角形与平行线相交当且仅当三角形的两边与平行线相交 2.三角形三边不可能同时与平行线相交 （忽略顶点与平行线相交的情形，此情况出现的概率为0，与之相似的例子是在全体实数中等可能地取一个数，取中1的概率） 可得： $$P(A \bigcup B \bigcup C)=P(AB)+P(AC)+P(BC)$$ $$P(ABC)=0$$ 再根据: $$ P(A \bigcup B \bigcup C)=P(A)+P(B)+P(C)- [P(AB)+P(AC)+P(BC)]+P(ABC) $$ 所以最终结果为： $$ P(A \bigcup B \bigcup C)=\frac {P(A)+P(B)+P(C)}{2} =\frac {a+b+c}{\pi d} $$ [思路来源](https://blog.sina.com.cn/s/blog_6f194ed30100ua5c.html) </details>