一、离散化原因数据离散化是指将连续的数据进行分段，使其变为一段段离散化的区间。分段的原则有基于等距离、等频率或优化的方法。数据离散化的原因主要有以下几点：算法需要比如决策树、朴素贝叶斯等算法，都是基于离散型的数据展开的。如果要使用该类算法，必须将离散型的数据进行。有效的离散化能减小算法的时间和空间开销，提高系统对样本的分类聚类能力和抗噪声能力。离散化的特征相对于连续型特征更易理解，更接近知识层面的
bowan.
2020-08-05
列表常用的操作：列表推导式：[关于i的表达式 for i in range(1,11) ]第一个位置(for之前):将要重复计算的公式 第二个位置(for和in之间):从可迭代对象或者迭代器中提取的循环变量 第三个位置(in之后):可迭代的对象或者迭代
bowan.
2020-07-04
安装pymsql：pip install pymysql -i https://pypi.douban.com/simple1、导包import pymysql2、创建连接对象mydb = pymysql.connect( host='localhost', # 数据库主机地址 user="root",
bowan.
2020-07-04
方差分析：定性数据对定量数据的影响方差分析解决问题的步骤一、方差分析的数据结构二、方差分析的分析步骤用表格表示分析计算过程：1、单因素方差分析：2、不重复双因素方差分析：其中，关系强度系数：R2=(SSR+SSC)/SST3、可重复双因素方差分析三、excel中方差分析：数据——数据分析——方差分析：单因素方差分析——输入区域（所有数据包含第一行分类）——标志位于第一行（打勾）——输出区域单因素方
bowan.
2020-06-26
常用的分布1.正态分布：一个神奇的分布：任何分布任何统计量随着其自由度或样本量的增大，其最终都会服从正态分布——正态分布是所有分布的终极状态。因此：当要计算一般正态分布的概率时，应先将其转化为标准正态分布再计算。2.卡方分布：是相互独立的标准正态分布的平方和3.t分布：实际上是Z分布小时候的样子（矮一点、胖一点），自由度n就是他的年龄，随着年龄的增大他逐渐变高变瘦变成了Z分布。4.F分布5.各分布
bowan.
2020-06-19
bowan.
2020-06-15
bowan.
2020-06-10
表连接时注意点： 连接的类型（找出一表，多表，根据关键字段取值是否会重复） 类型一（正确的连接方式）：一表出维度，多表出度量 类型二（维度下对应关键字段的汇总）： 跨表求值取字段求值， 双向多表出维度 双向一表出度量 错误：单向一表出度量 单项多表出维度 避免出现类型二连接：1. 不要跨表取字段，2. 不要一表出度量 3. 维度与连接用关键字段是父子级关系时，类型一与类型二的汇总方式结果相
bowan.
2020-06-09
列表(List): 列表是扩在花括号中的一组数据，列表中每个数据都有属于自己的序号以便自己能够被检 索到，列表中的数据序号从0开始按照排列顺序依次整数递增，大列表内还可以嵌套子列表、 记录等。花括号除了用来括起列表内的所有数据还用来指定列表内数据的序号，通过指定数 据序号可以从列表内找到并获取所需的数据值。 记录(Record): 记录用来定义字段和给字段赋值，一个字段由字段名以及字段内的值组成
bowan.
2020-06-08
MYSQL 开窗函数 1.作用：对每一行都显示函数结果，并且可以调节计算的行数范围 开窗函数和普通聚合函数的区别： （1）聚合函数是将多条记录聚合为一条；而开窗函数是每条记录都会执行，有几条记录执行完还是几 条。 （2）聚合函数也可以用于开窗函数中。 2.基本语法：（相当于5个参数，函数，over() 这两个必须写，后面三个在over()里，看情况添加） select xx,开窗函数 over(
bowan.
2020-06-04
开窗函数： 它可以理解为记录集合，开窗函数也就是在满足某种条件的记录集合上执行的特殊函数。 对于每条记录都要在此窗口内执行函数，有的函数随着记录不同，窗口大小都是固定的，这种属于静态窗口； 有的函数则相反，不同的记录对应着不同的窗口，这种动态变化的窗口叫滑动窗口。 开窗函数的本质还是聚合运算，只不过它更具灵活性，它对数据的每一行，都使用与该行相关的行进行计算并返回计算结果。 开窗函数和普通聚合函数
bowan.
2020-06-03
连接查询 连接查询的意义: 在用户查看数据的时候,需要显示的数据来自多张表. 内连接查询 内连接查询是最常见的连接查询，内连接查询可以查询两张或两张以上的表 内连接：[inner] join：从左表中取出每一条记录,去右表中与所有的记录进行匹配: 匹配必须是某个条件在左表中与右表中相同最终才会保留结果,否则不保留. 基本语法：左表 [inner] join 右表 on 左表.字段 = 右表.
bowan.
2020-06-02
当我使用MySQL 执行更新或删除操作时，mysql 报了这样一个错误： Error Code: 1175. You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column. To disable safe mode, toggle the option
bowan.
2020-06-01
成为大数据分析师的条件 硬性条件： 数据分析师角色/任务：收集，处理和执行统计数据分析 必备语言：java、R、Python、HTML、Javscript、C/C 、SQL等 技能和特长：电子表格工具(例如Excel)，数据库系统(SQL和基于NOSQL)，通信可视化，数学，统计，计算机，机器学习等 软性条件： 懂业务：从事数据分析工作的前提就会需要懂业务，即熟悉行业知识、公司业务及流程，最好有
bowan.
2020-05-31
分析报告：从数据中发现经营问题，且数据分析师需要主导分析内容，输出业务问题发现。 分析过程可能遇到问题：由于数据维度的丰富性，使用第一类分析需求思路往往会卡在第二步，如果每个维度都尝试下探非常耗时。 突破思维：这时可以考虑从总体指标入手，逐层分解总体指标，形成下钻式树结构。 分析思路如下： （1）梳理行业内经常谈及的指标； （2）将指标拆解为另外两个指标的和或乘积（或同一指标不同维度），逐层下钻，
bowan.
2020-05-29
大数据时代就像中国古人的“经验主义”。《大数据时代》一书指出大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这样就会想到古人多年总结经验得到的规律，二十四节气，十五的月亮圆，神农尝百草，中医发展......无不通过多年的尝试，收集数据，通过分析，得到结论，这些何尝不是在构建一种大数据，只是时代的背景不一样，所采用的方法不一
bowan.
2020-05-28
首先，要有一个好的框架，跟盖房子一样，好的分析肯定是有基础有层次，有基础坚实，并且层次明了才能让阅读者一目了然，架构清晰、主次分明才能让别人容易读懂，这样才让人有读下去的欲望; 第二，每个分析都有结论，而且结论一定要明确，如果没有明确的结论那分析就不叫分析了，也失去了他本身的意义，因为你本来就是要去寻找或者印证一个结论才会去做分析的，所以千万不要忘本舍果; 第三，分析结论不要太多要精，如果可以的话
bowan.
2020-05-27
员工考勤表 1.思维：动态数据表 2.数据验证：数据-数据验证-序列-来源（填写来源数值或选定来源区域） 3.if函数：条件判断 4.日期函数： day(输入日期，输出数字)， eomonth(输入日期，输出日期)， DATE(输出标准日期格式) 判断是否小于本月最大天数。 WEEKDAY(输入标准日期，输出星期数字)， 注意：其他没有办法编辑函数的地方与 WEEKDAY组合使用时，第二参数要使
bowan.
2020-05-26
1.excel函数 在某些情况存在局限性，拓展自己思维灵活运用函数公式 2.sumifs求和函数， 第一参数是求和区域，其他参数为条件（条件间关系为且） 3.offset偏移量函数， 由基准参照，确定行偏移和列偏移，以及最终得到的是一个单元格（enter）或一个区域（ctrl shift enter） 4.查找类函数，match可以得到指定单元格内容在指定区域的行号或列号,index,vlooku
bowan.
2020-05-26
传统数据分析与大数据分析的三方面异同： 第一，在分析方法上，两者并没有本质不同。 数据分析的核心工作是人对数据指标的分析、思考和解读，人脑所能承载的数据量是极其有限的。所以，无论是“传统数据分析”，还是“大数据分析”，均需要将原始数据按照分析思路进行统计处理，得到概要性的统计结果供人分析。两者在这个过程中是类似的，区别只是原始数据量大小所导致处理方式的不同。 第二，在对统计学知识的
bowan.
2020-05-26
