2.4.1假设检验
假设检验中的“假设”是对学习器泛化错误率分布的某种判断或猜想,例如“E=Eo”.现实任务中我们并不知道学习器的泛化错误率,只能获知其测试错误率£,泛化错误率与测试错误率未必相同,但直观上,二者接近的可能性应比较大,相差很远的可能陛比较小,因此,可根据测试错误率估推出泛化错误率的分布.泛化错误率为E的学习器在一个样本上犯错的概率是e;测试错误率∈意味着在m个测试样本中恰有£×m个被误分类.假定测试样本是从样本总体分布中独立采样而得,那么泛化错误率为E的学习器将其中m'个样本误分类、其余样本全都分类正确的概率是(品)e…7(1一e)”-m' .由此可估算出其恰将e×m个样本误分类的概率如下式所示,这也表达了在包含m个样本的测试集上,泛化错误率为e的学习器被测得测试错误率为e的概率: 我们可使用“二项检验”(binomial test)来对“E≤0.3”(即“泛化错误率是否不大于0.3”)这样的假设进行检验.更一般的,考虑假设“e≤Eo”,则在l-a的概率内所能观测到的最大错误率如下式计算.这里l-a反映了结论的“置信度”(confidence),直观地来看,相应于图2.6中非阴影部分的范围。