永洪科技

2020-06-23   阅读量: 1113

大数据 数据库

深度分析数据库,从人类“登月”谈起

扫码加入数据分析学习群

数据库作为一种数据管理的技术,起源于上世纪60年代,战争中对于情报管理的需要,而出现。但是促使数据库系统,在短短10年间快速发展,取得突破性进展的,却是航天事业。


上面这张图,是土星五号的整体结构示意图。

来自百科中关于土星五号的介绍:“土星5号仍是人类历史上使用过的自重最大的运载火箭,高达110.6米,起飞重量3038.5吨;总推力达3408吨,月球轨道运载能力45吨,近地轨道运载能力118吨。它曾9次将宇航员送上月球。”

土星五号作为一个超级工程,有约200多万个零部件,而为了精确追踪每一颗零件,从生产制造到安装成型的整个过程,复杂程度之高,以至于NASA需要管理一个数据量庞大的巨型清单,来确保项目的正常运作,如期完成。

为此,IBM、北美航空、卡特彼勒联合,为 NASA 开发了一套数据管理系统 IMS。于是,人类一不留神,创造出了当今信息化技术中最重要的一部分——“数据库系统”。正是依靠这项技术的助力,才最终将“登月”这项人类壮举从图纸中,变成了现实。

在20世纪70年代,人类不仅进入了星际时代,同时也进入了名为数据化的时代。


之后的50年里,随着互联网的兴起,在互联网的加持下,全球各国的企业都建设了大量的信息化系统,每天都会将真实的世界转化为数据,永远的保存在数据库中,这些日积月累下的巨量数据,就像是过去世界的影子,让企业逐渐意识到,自己的业务系统每天生产的数据,变成了一座取之不尽的金矿。

但是如何充分利用大数据这座金矿,使之成为黄金?随着这个问题的出现,理所当然的,就会涉及如何获得数据、如何加工数据、如何做数据分析等等问题。我们掰开揉碎的来讲,首先谈谈如何获得数据?

当前市面上种类繁多的数据库,关系型数据库、非关系型数据库、数据仓库等等,着实令人眼花缭乱。甚至企业内部,不同部门的数据库类型都是不一样的,这就很容易造成数据互通存在某种壁垒。

想要随时高效的获取数据,第一关便是对于这些数据源的对接和数据获取能力的考验。需要关注对各种不同数据源的实际对接能力,能在很短的时间内和各种各样的数据源进行连接,并且可以随时获取其中的数据。


第二关,拿到了数据,但是拿到的数据中存在比如,数据缺失或者用0、1、2、3这种字符,代替了实际意义“异常的”、 “不干净”的数据;或者例如拿了订单数据,但是却没有关于哪个客户下的订单,这种“缺少相关数据字段”的问题,那就需要对数据进行“清洗”和“补充”。但是一般这些操作都是由技术人员通过sql或者ETL工具完成的,怎么让不懂这些技术的同事也能够进行这部分工作呢?利用可视化技术,通过UI封装复杂的代码环节,最大程度的减少不懂技术所带来的负担。这同样也可以间接的减少IT部门在开发报表方面工作。

第三关,数据准备好了,如何做数据分析呢?最普遍的数据分析方法,就是对比,较上年利润率提升了多少,具体的利润结构如何,利润结构中的某一部分增加了还是减少了等等。

一般情况下,我们会拉张报表,看看结果如何。可是受制于制作报表的工具,很难做到深度纵观全局的联动分析效果。比如,我想看企业整体收入结构,和其中主营业务相关的数据,仅仅是这个场景下,我们就需要看至少两张不同的报表,甚至还要去不同系统中去翻找。

但若做了数据下钻这种功能后,就可以直接从整体收入结构中层层下钻,下钻到不同业务分类中。再配合数据可视化,可以最大化的提升数据的利用效率和利用率。

例如下方的两张图,从全国下钻到华中大区,看到每个省份的具体数据,当然,如果数据粒度足够,仍可以继续下钻。



第四关,做了基本的数据分析后,企业常规的数据分析需求已被解决,可以随时随地查看到企业常规的一些报表和报告。而某些特殊的数据分析需求,比如需要利用海量的数据作为深度分析的基础,训练某种可以用于预测的深度分析模型。在实现过程中,我们发现,深度学习所使用的数据,就是来源于企业自己的业务系统,同样需要做数据准备的工作,在模型计算完成后,预测结果同样需要和实际结果进行对比。那么在同一个数据分析系统中做深度分析,显然是可行的,也是必要的。

所以能够在一套系统中同时满足自服务数据准备、探索式分析、深度分析和企业级管控的工具——BI(商业智能),便应运而生。而YonghongBI正是为了解决如何提取大数据的价值这个核心问题,而推出的一站式的大数据分析平台。

那么什么是YonghongBI一站式大数据分析平台?

永洪科技是这么定义的:

它必须能够提供了一个完整的用户体验——把大数据分析所需的产品功能全部融入一个平台下,进行统一管控;

它支持全部云端OS,支持公有云、私有云和混合云等多种架构;

它能够让用户轻松、快速地得到动态报表和可视化展现;

它不仅能被IT人员掌握,也能让业务人员轻松操作。

目前,永洪科技一站式大数据分析平台(注:以下行业案例中缩写为Yonghong Z-Suite)核心功能包括:自服务数据准备、探索式分析、深度分析和企业级管控,提供三款核心产品:敏捷BI、深度分析和MPP数据集市。

产品特点包括:简单交付、轻松上手、移动跨屏、大数据处理能力。

当前,有哪些人在使用一站式大数据分析平台?

从用户分类情况来看,主要有四类用户群:

第一类用户是报表的开发者,需求是快速开发;

第二类是高级用户,大部分是数据分析专员或者业务专家。需求是深入洞察分析;

第三类是普通用户,部分是经理,团队管理人员,需求是轻松上手及真正接触数据;

第四类用户是高层管理人员,需要报表一目了然,便于操作,需求是随时随地查看数据,提供决策支持。

很多人有疑问,一站式大数据分析平台的深度用户是不是只有大数据量的企业?其实不然。永洪科技在实际项目中发现,一站式大数据分析平台一方面适用于政府、金融、电信、互联网公司、医疗、零售快消、大型制造业/传统企业等这类数据量比较大的客户,也同样能够更好地适配于数据量比较小的中小企业,大型企业中有独立信息系统的业务部门。

所以,一站式大数据分析平台的深度用户没有数据量大小之分,它本身的天然特性决定了其具有更强的适用性,能够适用于各行业、各种类型的客户群体。



38.1950 3 1 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子