首先检验解释变量内生性（解释变量内生性的Hausman 检验：使用工具变量法的前提是存在内生解释变量。Hausman 检验的原假设为：所有解释变量均为外生变量，如果拒绝，则认为存在内生解释变量，要用IV；反之，如果接受，则认为不存在内生解释变量，应该使用OLS。
object ApplyApp{def main(args: Array[String]): Unit = {for(i
class ApplyTest{}object ApplyTest{}class ApplyTest 是 object ApplyTest 的伴生类object ApplyTest 是 class ApplyTest 的伴生对象伴生类和伴生对象是相对而言的
首先需要了解的一点是，在scala中，主构造器并不是以this方法定义，而是与类定义交织在一起的主构造器的参数直接放在类名之后，若不写则自动定义为空参：class Person(val name:String, val age:Int) { // 主构造器def this(name:String, age:Int){// 附属构造器//附属构造器的第一行代码必须要调用主构造器或者
scala 中没有 static 关键字，所以 对于一个class来说，所有的方法和成员变量在实例被 new 出来之前都是无法访问的而scala 的object 中所有成员变量和方法默认都是 static 的 所以可以直接访问main方法
y的条件方差都是一样的（即同方差假设）。在给定的x值下，其变化程度也可大可小（即y有方差）。至于y的条件方差，因为这时有多个固定相同的x值），此时才可以通过多个样本点来估计一个相同的方差，y值可能忽高忽低（即y是随机变量），回归的思想就是先抓住x回归模型的本意是给定x值，然后预测（或估计）y的条件均值，在只有一个固定的x值下是无法估计的（在重复测量样本下也许可以做到，然后进行各种t检验，然后观察y
问：电影推荐系统课题有什么需要注意的吗？答：电影推荐系统主要看数据大小，一般有两类做法，第一类是关联规则和协同过滤；第二类是用解释性比较强的算法如聚类算法去预测，预处理和普通的机器学习一样，没什么需要特别注意的。
问;电商数据挖掘这种，没有很明确的目的，从哪里切入比较好呢答：主要还是以探索性数据分析为主，重点在于各种图形突出和描述性分析，从客户行为，产品等多维度去预测，以及另外要注意运营层面如漏斗分析，ABtest等。
Scala中使用关键字lazy来定义惰性变量，实现延迟加载(懒加载)注意：用lazy修飾的变量只能是不可变变量，并且只有在调用惰性变量时，才会去实例化这个变量
常用解决方案：1.主成分分析，但主成分分析会改变变量的原有属性2.如果主成分分析不能用，可以用岭回归或者Lasso
遗漏重要变量的时候会出现内生性，内生性问题有时候忽略，常用内生性检验叫做豪斯曼检验，也可以使用工具变量的方法。
问：银行电话营销响应分析，用什么模型好呢答：树模型比较通用，用集成算法效果会比较好。
可以的，两者没有差别太多
val修饰的变量不可改变var修饰的变量可以改变
问：在处理多重探索共线性问题时，不通过VIF判断，通过相关系数大于0.8判断可以吗，这时使用岭回归消除共线性。答：不建议，因为相关系数只是在线性关系的前提下二者的相关程度，当相关系数大于0.8时，不能说一定会出现多重共线性，要准确判断多重共线性药通过VIF来判断，多重共线性检验还加入了参数检验，可以先做个散点图，看是否呈现非常强的线性关系，如果有就可以删掉。
1.对一组数据若能同时计算b和r，它们的符号一致。 2.b和r的假设检验是等价的，即对同一样本tb＝tr。 3.用回归可以解释相关
相关系数和回归系数的区别1、含义不同相关系数：是研究变量之间线性相关程度的量。回归系数：在回归方程中表示自变量x 对因变量y 影响大小的参数。2、应用不同相关系数：说明两变量间的相关关系。回归系数：说明两变量间依存变化的数量关系。3、单位不同相关系数：一般用字母r表示 ，r没有单位。回归系数：一般用斜率b表示，b有单位。
问：评分卡案例下图的部分中train_data里面的y值需要0,1互换吗？ 答：不需要，前面已经对train_data替换过并赋值了。
方差膨胀系数(variance inflation factor，VIF)是衡量多元线性回归模型中复 (多重)共线性严重程度的一种度量。它表示回归系数估计量的方差与假设自变量间不线性相关时方差相比的比值。
问：评分卡案例中各个分箱的值用的是哪个值？答：用的是woe分箱之后属于哪个标签所用的值，也就是woe每个箱子自己编号的值。
关注
大魔王泛泛
换一批
480.0000