数据中台与传统大数据平台有什么区别?终于有人讲明白了

大数据 2023-07-05 17:29:38
46阅读

文中转载微信公众平台「互联网大数据DT」,创作者彭锋 宋文欣等。转截文中请联络 互联网大数据DT微信公众号。

我们可以那样了解,传统式数据管理平台和数据库管理是数据中台的数据来源,基本建设数据中台是为了更好地能够更好地服务项目于各个部门。

图1-1表明了信息系统、数据库管理、传统式数据管理平台、数据中台中间的关联,在其中的箭头符号表明数据信息的关键流入。

▲图1-1 数据中台与传统式数据管理平台、数据库管理的关联

数据中台与传统式数据管理平台究竟有什么不同?为了更好地描述便捷,大家先得出传统式数据管理平台的构架(见图1-2)。

▲图1-2 传统式数据管理平台

  • 互联网大数据基本工作能力层:Hadoop、Spark、Hive、HBase、Flume、Sqoop、Kafka、 Elasticsearch等。
  • 在互联网大数据部件上构建的 ETL生产流水线,包含数据统计分析、深度学习程序流程。
  • 大数据应用系统软件。
  • 数据库管理系统软件。
  • 大数据可视化系统软件。

能够见到,这种是传统式数据管理平台的关键作用。在许多互联网大数据新项目里,只需把这种系统软件搭起來,每日能够转化成业务流程表格(包含即时大屏幕),即使数据管理平台构建成功了。

但数据中台应该是数据管理平台的一个超集。大家觉得,在数据管理平台的基本以上,数据中台还应当给予下边的系统功能。

1. 全局性的数据信息运用投资管理

这儿常说的数据信息运用投资管理包含全部生态体系中的数据信息和运用。传统式的数据资产管理方法绝大多数只包含关联型数据库查询中的财产(包含Hive),而一个数据中台应当管理方法全部结构型、非结构型的数据资产,及其应用这种数据资产的运用。

假如传统式的数据资产管理方法给予的是数据信息文件目录,那麼数据中台给予的应该是拓展的数据信息及运用文件目录。要防止反复造轮子,最先要了解系统软件中有什么车轮子,因而维护保养一个系统软件中数据及数据信息运用的目录是很重要的。

2. 全局性的大数据应用体制

与传统式的大数据应用不一样,数据中台务必给予对于全局性的大数据应用专用工具和体制。传统式数据库管理中的大数据挖掘和大数据应用大多数对于一个特殊单位的业务流程,一部分缘故是全局性大数据挖掘和整治周期时间过长,因为存有单位中间的融洽难题,通常难度系数很大。

数据中台给予的大数据应用体制务必容许每个各个部门独立迭代更新,但前提条件是要有全局性一致的规范。阿里巴巴明确提出的OneID注重全局性统一的目标ID(比如客户ID),就归属于这一体制。

3. 自助式的、多租户的数据信息应用程序开发及公布

目前的绝大多数数据管理平台规定使用人具有一定的程序编写工作能力。数据中台注重的是为各个部门颠覆式创新,而业务员必须 有一个自助式的、可融入不一样水准和工作能力规定的软件开发平台。这一软件开发平台要可以确保数据防护和資源防护,那样一切一个应用系统软件的人都不必担心自身会系统对导致危害。

4. 数据信息运用运维管理

客户应当能够很便捷地将自身开发设计的数据信息运用自助式公布到生产系统中,而无须历经专业的数据信息精英团队。由于大家必须 共享资源这种运用以及造成的数据信息,因此必须 有类似CI/CD的专业系统软件来管理方法运用的编码品质和开展版本管理。

在数据信息运用运作全过程中造成的数据信息也必须 全过程监管,以确保数据的一致性、准确性和实用性。

5. 数据信息运用集成化

应当能够随时随地集成化新的数据信息运用。新的大数据的应用、人工智能技术专用工具层出不穷,大家的系统软件应当可以随时随地适用这种新运用。假如数据中台不可以适用这种运用,每个各个部门很有可能又会打造出自身的小群集,导致新的数据孤岛及运用荒岛。

6. 数据信息即服务项目,实体模型即服务项目

数据统计分析的結果,无论是数据分析的結果,或是深度学习转化成的实体模型,应当可以迅速地应用无编码的方法公布,并供全组织应用。

7. 数据信息工作能力共享资源管理方法

绝大多数数据信息工作能力理应具备健全的共享资源管理模式、便捷安全性的共享资源体制及其灵便的信息反馈。最终决策数据信息怎么使用的是单独的本人,她们必须 一套获得信息的体制,因而在组织內部务必要有那样的共享资源体制,才可以真真正正让数据信息用起來。

8. 健全的经营指标值

数据中台注重的是可考量的数据价值,因而,针对数据信息在系统软件中的应用方法、被应用的頻率、最终造成的实际效果,务必要有一定的经营指标值,才可以认证数据信息的使用价值和数据中台新项目的高效率。

综合性上边的探讨,除开阿里明确提出的OneID、OneModel、OneService以外,大家觉得数据中台还应当达到下列2个规定。

1. TotalPlatform

全部网易大数据数据信息及有关的运用应当在统一平台中统一管理方法。如果有数据储存在网易大数据管理方法不上的地区,或是有些人在网易大数据不明的状况下应用数据信息,大家就没法真真正正完成对数据信息的全局性管理方法。这规定数据中台能迅速适用新的数据类型和数据信息运用,有利于数据信息专用工具的共享资源,而无须创建一个分离出来的系统软件。

2. TotalInsight

数据中台应当可以了解并智能管理系统中数据的流动性,给出的数据使用价值的定量分析考量,确立每个部门的耗费和产出率。全部网易大数据的经营是井然有序可控性的,而不是一个黑盒子,客户能够轻轻松松了解全局性的数据资产和工作能力,从系统软件中迅速完成数据信息转现。

如图所示1-3所显示,数据中台能够说成依照一定的标准规定基本建设的数据信息工作能力服务平台,在数据库管理、数据管理平台、网络服务、数据信息运用的基本建设中完成了合乎OneID、OneModel、OneService的数据信息层。

这一数据信息层,再加上在其上创建的业务水平层及其经营这一数据中台必须 的TotalPlatform、TotalInsight,产生大家见到的数据中台。

▲图1-3 数据中台的五大规定

有关创作者:彭锋,智领云科技创始人兼CEO。武大计算机专业大学本科及研究生,英国马里兰大学软件工程专业博士研究生,关键研究内容是流式的半非结构化数据的性能卓越查看模块,在数据库查询顶尖大会和刊物SIGMOD、ICDE、TODS上发布数篇开拓性毕业论文。2011年添加Twitter,任数据管理平台主任工程师、企业系统架构师联合会互联网大数据责任人,承担企业数据管理平台及生产流水线的基本建设和管理方法。

宋文欣,智领云科技创始人兼CTO。武大计算机专业大学本科及研究生,美国纽约州立大学石溪校区软件工程专业博士研究生。曾依次任职于Ask.com和EA(电子艺界)。2016年归国协同开创智领云科技有限责任公司,建立智领云计算技术精英团队,开发设计了BDOS数据管理平台电脑操作系统。

孙浩峰,智领云科技销售总监。前CSDN内容营销副总编,关心云计算技术、互联网大数据、人工智能技术、区块链技术等技术领域,对云计算技术、互联网技术、网络硬盘有深入了解。有着丰富多彩的新闻媒体从事工作经验和技术专业的网络信息安全技术性基本功,具备超出十五年的公司级IT销售市场散播、营销推广、宣传策划和创作工作经验,编写过数篇在业内具备一定知名度的文章内容。

文中摘编自《云原生数据中台:架构、方法论与实践》,经出版发行方受权公布。

the end
免责声明:本文不代表本站的观点和立场,如有侵权请联系本站删除!本站仅提供信息存储空间服务。