模型、策略和算法

模型(model)、策略(strategy)和算法(algorithm)是统计学习的所有内容.


模型是统计学习的最终结果,即决策函数(decision function) Y=f(X)或条件概率函数P(X|Y)
,它被⽤来预测特定问题下,将来未知输⼊的输出结果.


策略是统计学习过程中的产⽣最优模型的评价准则(evaluation criterion),通常由模型对某个样本
⼀次预测的好坏程度评价的损失函数(loss function) L(Y,f(X))和模型对所有样本平均意义下
⻛险函数(risk function)R(f) 决定。其中 f为模型函数.


算法是指统计学习过程中具体的学习出模型的⽅法。其过程通常指通过若⼲步有限的步骤,从候
选模型集合中找到使得⻛险函数R(f) 最⼩的模型,即求解R(f) 最优化问题的过程.