PRISE, BUTTE T ANAS m NUAREAR HIRES, IRET AEESEU Be ASRS, FH BETS.
Bagging基本流程
13 Matching Annotations
- Jan 2025
-
Local file Local file
-
-
RHEL cx RAIA he RE ART RE
AdaBoost中基学习器的权重是通过最小化指数损失函数得到的，指数损失函数替代了原本的0/1损失函数，可以证明二者的优化目标是一致的，并且指数损失函数有更好的数学性质，是连续可微函数
-
56M 8a Vil BSE UI Be PE ah, FR GEA Od 8 A ABT UI BsEAS SS A EAT Vad RE, EFSTE BT BEA DS BB BCE BN UII ARE AS FE JS ESB) PE,SR SET VE PEAS Op ARI RR SES SE; QUST, BRS“J aeay BABS ETRE AE TT,
boosting工作机制
-
eA)HE
连乘的由来
-
i Ht 8 A EAE AB — FF SR AB SS BER DTHK, FRET VARAER Op A NS BOE T (a th.
类条件概率——似然
-
(c| x) =1—P(e|2),
已知x，真实标签为c类的概率越小，将x分为c类的损失越大
-
(ci | &) = S>AyP(c; | 2)
将x分类为\(c_i\)类产生的期望损失
-
EA MPR: AE o, PURER P(c | x) *TU c, OMEN e “ALARA” (discriminative models); th A 7KMRD P(a,c) #K, REBAR P(c| a), RRB “EmoteAi” (generative models).
先验概率：也是一种条件概率，以全事件为背景的某个事件发生的概率。是基于历史数据的统计或者背景常识得出的预判概率<br /> 后验概率：是知道结果的情况下求原因的概率，例如事件B是由A引起的，P(A|B)就是后验概率
-
H ac; 5 a; CERT TA) ARSE PE TE Da a AS 2 i) a PK (-, -) 1Waa.
核技巧
-
ARA “HE
当满足kkt约束条件时，拉格朗日函数最大化的结果等价于主问题。如果不满足约束条件，则最大化的结果可以是正无穷。考虑拉格朗日函数的极小极大化问题，与原始优化问题等价。
-
ZBL a*, FARBER UBBRE Vf (w*) IESE FOR HH.
对于约束曲面上的点，如果它的梯度正交方向的向量与目标函数的梯度方向夹钝角，则不是最优点，沿着梯度正交方向前进一小步，可以使目标函数更小。在最优点，目标函数在该点的梯度应该与在约束曲面的梯度共线
-
MEAGRE LAUR REAR @, AEBRRE Vo(a) IESE E
可以用一阶泰勒展开证明，沿着与梯度垂直的方向前进能保证点依然在等高线上，即仍然满足约束条件
-
Hy X.(2.37), RAR AO.
$$ \mathbb{E}_D [\bar{f}(x)] = \bar{f}(x) $$ $$ \mathbb{E}_D [f(x; D)] = \bar{f}(x) $$ $$ \begin{split} \mathbb{E}_D [2(f(x; D) - \bar{f}(x))(\bar{f}(x) - y_D)] &= 2\mathbb{E}_D[(f(x; D) - \bar{f}(x))\bar{f}(x) ] - 2\mathbb{E}_D[(f(x; D) - \bar{f}(x))y_D] \ &= 0 - 0 \ &= 0 \end{split} $$
-