在hive连接MySQL时有ssl警告，警告内容如下： WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45 , 5.6.26 and 5.7.6 requirements SSL connection must
zxq997
2019-06-26
SELECT tb2.name FROM( SELECT tb1.season, tb1.name, ROW_NUMBER() OVER( ORDER BY SUBSTR(tb1.season, 2, 4)
zxq997
2019-06-26
HIVE的窗口函数是什么？ 答： 窗口函数在和当前行相关的一组表行上执行计算。 这相当于一个可以由聚合函数完成的计算类型。但不同于常规的聚合函数， 使用的窗口函数不会导致行被分组到一个单一的输出行；行保留其独立的身份。 在后台，窗口函数能够访问的不止查询结果的当前行。
zxq997
2019-06-26
hive 的窗口函数有哪些? 答： 窗口函数 FIRST_VALUE：取分组内排序后，截止到当前行，第一个值 LAST_VALUE： 取分组内排序后，截止到当前行，最后一个值 LEAD(col,n,DEFAULT) ：用于统计窗口内往下第n行值。第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，
zxq997
2019-06-26
hive中的OVER从句 1、使用标准的聚合函数COUNT、SUM、MIN、MAX、AVG 2、使用PARTITION BY语句，使用一个或者多个原始数据类型的列 3、使用PARTITION BY与ORDER BY语句，使用一个或者多个数据类型的分区或者排序列 4、使用窗口规范，窗口规范支持以下格式： (ROWS | RANGE) BETWEEN (UNBOUNDED | [num])
zxq997
2019-06-26
启动Hadoop集群之后无法启动hive命令行，报错信息如下： a 这是什么问题？ 答：hdfs刚启动的时候会进行大量的初始化操作，这个时候hdfs处于安全模式，是不允许对其进行写操作的，因此会报错。安全模式默认会在30秒后解除，等待30秒再启动hive即可。
zxq997
2019-06-26
无法使用hive账号远程访问 MySQL问题。 在配置hive的时候无法连接到m原数据库MySQL，这个怎么解决？ 答：如果仅仅是使用hive账号无法无法登录MySQL 那应该是该账户不允许远程登录。可以使用如下代码进行配置。 首先使用管理员账号登录MySQL命令行。 然后在命令行中输入： use mysql; update user set host='%' where host = '
zxq997
2019-06-26
初始化hive的时候报错： ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directory 这是什么原因？ 答：原因是 spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembl
zxq997
2019-06-26
hive 如何查看表信息？ 答： hive常用的查看表信息命令有： 查看数据库中有哪些表： show tables; show tables in database_name; 查看表结构： desc table_name;
zxq997
2019-06-26
Hive启动报错： Found class jline.Terminal, but interface was expected 答：原因是hadoop目录下存在老版本jline: -rw-r--r-- 1 root root 87325 Mar 10 18:10 jline-0.9.94.jar 解决： cp hive安装目录/lib/jline-2.12.jar hadoop安装目录
zxq997
2019-06-26
朴素贝叶斯方法是一组监督学习算法，基于贝叶斯定理应用给定类变量值的每对特征之间的条件独立性的“天真”假设。在给定类变量y和从属特征向量x1到xn，贝叶斯定理表明了以下关系： a 使用条件独立假设 a 对于所有i，这种关系被简化为 a 由于P(x1,…,xn)在输入时是常数，我们可以使用以下分类规则： a 我们可以使用最大后验（MAP）估计来估计 P(y)和P(xi∣y) ; 前者是
zxq997
2019-06-25
在逻辑模型中，对数比值（在对数的的可能性），用于标记为“1”的值是一个线性组合的一个或多个自变量（“预测”）; 自变量可以是二进制变量（两个类，由指示符变量编码）或连续变量（任何实际值）。相应的概率标记为“1”的值可以在0（当然是值“0”）和1（当然值为“1”）之间变化，因此标记; 将log-odds转换为概率的函数是逻辑函数，因此是名称。所述测量单元为对数刻度赔率被称为分对数，也可以使用具有不同
zxq997
2019-06-25
似然比检验 似然比检验提供了用于比较一个模型（例如，完整模型）下的数据的可能性与另一个更受限制的模型（例如，截距模型）下的数据的可能性的手段。 a 其中' p ' 是逻辑模型预测概率。下一步是计算这两个对数似然之间的差异。 a 两个可能性之间的差异乘以因子2，以便使用标准显着性水平（Chi2检验）评估统计显着性。测试的自由度将等于模型下估计的参数数量的差异（例如，完整和截距）。 Wald
zxq997
2019-06-25
A为m×n矩阵可以进行QR分解，A=QR，其中：Q'Q＝I，在R中可以用函数qr()进行 QR分解，例如： > A=matrix(1:16,4,4) > qr(A) $qr [,1] [,2] [,3] [,4] [1,] -5.4772256 -12.7801930 -2.008316e 01 -2.738613e 01 [2,] 0.3651484 -3.2659863 -6.531973e
zxq997
2019-06-25
当处理矩阵代数方程时，经常会碰到矩阵的逆矩阵。如果XY=I，其中I是单位阵（单位阵I 的对角线元素均为1，而其他元素都是0。任意矩阵乘以单位阵仍为原始矩阵），则称X是Y的逆矩 阵。逆矩阵的一个实际缺陷是当矩阵不止几个元素时计算很麻烦且基本不可能通过手工计算。了 解矩阵什么时候才有逆很有帮助，这样就可以避免程序的错误。矩阵B的逆矩阵通常表示为B-1。 矩阵要可逆必须要是方阵。这里所谓方阵，是指矩阵的
zxq997
2019-06-25
如果两件事同时发生概率应当如何计算呢，例如天气=下雪且星期几=2？不难想到，这个概 率应该等于两件事情都为真的次数除以所有事件发生的总次数。简单来计算一下：只有一个样本 点满足天气=下雪且星期几=2，所以这个概率应当是1/7。这种联合事件的概率一般用逗号隔开的 变量来表示： P(天气=雪天，星期几=2)。一般地，对事件X和Y来说，对应的联合概率应该记为 P(X, Y )。 读者可能还看到过一些形如
zxq997
2019-06-25
import pandas as pd import numpy as np import matplotlib.pyplot as plt s=pd.Series([1,3,5,np.nan,6,8]) dates=pd.date_range('20130101',periods=6) df=pd.DataFrame(np.random.rand(6,4),index=dates,columns
zxq997
2019-06-25
很多人不理解多项式回归是什么，其实多项式回归也是线性回归的一种形式，多项式回归拟合x的值与y的对应条件均值之间的非线性关系，表示为E（y | x），其中自变量x和因变量y之间的关系被建模为n次多项式。 何为多项式回归： 研究人员假设的一些关系是曲线的。显然，这种类型的案例将包括多项式项。 检查残差。如果我们尝试将线性模型拟合到曲线数据，则预测变量（X轴）上的残差（Y轴）的散点图将在中间具有许多
zxq997
2019-06-25
奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。谱分析的基础是对称阵特征向量的分解，而奇异值分解则是谱分析理论在任意矩阵上的推广。 假设M是一个m×n阶矩阵，其中的元素全部属于域 K，也就是实数域或复数域。如此则存在一个分解使得 a 其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n
zxq997
2019-06-25
问题描述： 相关系数太低，还有研究的意义吗？还能建模吗?还是要做些什么处理再建模？ a 答案解析： 这个模型y与x都不显著相关，是没有意义的。 原因应该是这份数据的样本量太少了，可以采用自抽样增加样本数至1000再看显著性。
zxq997
2019-06-25
