梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。反过来,如果我们需要求解损失函数的最大值,这时就需要用梯度上升法来迭代了。在机器学习
wo5656500
2020-04-21
在进行t检验时,会计算出一个t值,而在选定显著性水平后,可以找到相比较的t值,两者可以比较,判断显著性。p值代表的是不接受原假设的最小的显著性水平,可以与选定的显著性水平直接比较。例如取5%的显著性水平,如果p值大于5%,就接受原假设,否则不接受原假设。
wo5656500
2020-04-21
1)概念 L0正则化的值是模型参数中非零参数的个数。 L1正则化表示各个参数绝对值之和。 L2正则化标识各个参数的平方的和的开方值。 2)正则化后会导致参数稀疏,一个好处是可以简化模型,避免过拟合。因为一个模型中真正重要的参数可能并不多,如果考虑所有的参数起作用,那么可以对训练数据可以预测的很好,但是对测试数据就只能呵呵了。另一个好处是参数变少可以使整个模型获得更好的可解释性。 且参数
wo5656500
2020-04-21
解决异方差问题一般有三种办法,分别是数据处理(取对数)、Robust稳健标准误回归和FGLS法;三种办法可以同时使用去解决异方差问题。 1. 原数据做对数处理 针对连续且大于0的原始自变量X和因变量Y,进行取自然对数(或10为底对数)操作,如果是定类数据则不处理。 取对数可以将原始数据的大小进行‘压缩’,这样会减少异方差问题。事实上多数研究时默认就进行此步骤处理。负数不能直接取对数,如果数据中有
wo5656500
2020-04-21
过拟合(over-fitting),机器学习模型或者是深度学习模型在训练样本中表现得过于优越,导致在验证数据集以及测试数据集中表现不佳。出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。 过拟合问题,根本的原因则是特征维度(或参数)过多,导致拟合的函数完美的经过训练集,但是对新数据的预测结果则较差。
wo5656500
2020-04-20
事后检验是指将市场风险计量方法或模型的估算结果与实际发生的损益进行比较,以检验计量方法或模型的准确性、可靠性,并据此对计量方法或模型进行调整和改进的一种方法。若估算结果与实际结果近似,则表明该风险计量方法或模型的准确性和可靠性较高;若两者差距较大,则表明该风险计量方法或模型的准确性和可靠性较低,或者是事后检验的假设前提存在问题;介于这两种情况之间的检验结果,则暗示该风险计量方法或模型存在问题,但结
wo5656500
2020-04-20
残差在数理统计中是指实际观察值与估计值之间的差。“残差”蕴含了有关模型基本假设的重要信息。如果回归模型正确的话, 我们可以将残差看作误差的观测值。 它应符合模型的假设条件,且具有误差的一些性质。利用残差所提供的信息,来考察模型假设的合理性及数据的可靠性称为残差分析。 主要查看和检验的方法为:异常值检验、方差齐性检验、误差的正态性检验、相关性检验以及相伴随的方差稳定化变换,正态化变换等修正方法.
wo5656500
2020-04-20
当两总体方差相等时,即具有“方差齐性”,可以直接检验 不拒绝原假设——两总体均值相等 如果两总体不具有方差齐性,需要加上参数equal_val并设定为False。
wo5656500
2020-04-20
不是一回事. 协方差为0则不相关 独立一定不相关,但是不相关不一定独立. a为0到2pi上的随机值,X=cosa,Y=sina,则X和Y的协方差为0,但是X,Y两者不独立.
wo5656500
2020-04-17
1. 模型建立正确 what?模型建立正确是进一步研究分析模型的基础,这是大前提,严格说不属于假设,不过很重要。 why?第一,在做回归分析前,需要先做相关分析。即使是不相关的杂乱无章的数据,也可以求得回归方程,但是是否显著、是否有意义就未知,所以需要先确保存在相关才能进行回归分析。第二,需要考虑经济意义,通过研究经济理论、选择合理的变量及函数、收集整理统计数据而建立的。因为回归分析结果和检验结
wo5656500
2020-04-17