如果k较小,就相当于用较小的邻域中的训练实例进行预测,“学习”的近似误差会减小,只有输入实例较近的(相似的)训练实例才会对预测结果起作用。但缺点是“学习”的估计误差会变大,预测结果会对近邻的实例点非常敏感。如果邻近的实例点恰好是噪声,预测会出错。k值的减小就意味着整体模型变得复杂,容易发生过拟合。
如果k值太大,相当于用较大的邻域中的训练实例进行预测。其优点是可以减少学习的估计误差,但缺点是学习的近似误差会增大。这时与输入实例较远的(不相似的)训练实例也会对预测起作用,使预测发生错误。k值的增大就意味着整体的模型变得简单。
K值一般取一个比较小的数值。通常采用交叉验证法来选取最优的k值