《架构世界》2018新年特刊大数据治理:一门让数据重生的艺术 - (EPUB全文下载)
文件大小:8.8 mb。
文件格式:epub 格式。
书籍内容:
《架构世界》
2018新年特刊
大数据治理:
一门让数据重生的艺术
EAWorld
普元信息
版权信息
《架构世界》2018新年特刊:大数据治理:一门让数据重生的艺术
EAWorld
©浙江出版集团数字传媒有限公司 2018
非经书面授权,不得在任何地区以任何方式反编译、翻印、仿制或节录本书文字或图表。
DNA-BN:ECFD-N00012836-20180125
制作:关春丽
出版:浙江出版集团数字传媒有限公司
浙江 杭州 体育场路347号
互联网出版许可证:新出网证(浙)字10号
电子邮箱:cb@bookdna.cn
网 址:www.bookdna.cn
BookDNA是浙江出版联合集团旗下电子书出版机构,为作者提供电子书出版服务。
如您发现本书内容错讹,敬请指正,以便新版修订。
©Zhejiang Publishing United Group Digital Media CO.,LTD,2018
No.347 Tiyuchang Road, Hangzhou 310006 P.R.C.
cb@bookdna.cn
www.bookdna.cn
目 录
卷首语:为什么是大数据治理?
建设大数据平台,从“治理”数据谈起
数字化转型中的自动化大数据治理
业务元数据管理——洞悉数据背后的业务含义
数据质量问题是“技术”问题还是“业务”问题?
人工智能与软件架构
以自动化为核心的自服务大数据治理
大数据治理关键技术解析
关于EAWorld:微服务,DevOps,数据治理,移动架构原创技术分享,扫描二维码关注
卷首语:
为什么是大数据治理?
一、由“是什么”到“如何做”的转变
在长达十年的时间里,我不断向身边的朋友、客户、友商解释数据治理“是什么”,解释数据治理能创造出来的隐形或显性的价值。在这么长的时间里,尤其在大数据家喻户晓的今天,我忽然发现不需要向大家解释什么是数据治理,而是探讨如何实施大数据治理,大数据治理该“如何做”成了大家关注的重点。
与数据治理的前辈相比,我想我们遇到了好时代,在这个时代,数据不再是业务的副产物,而是企业数字化战略的原材料;数据不再是堆砌在磁盘的内容,而是整个社会的核心资产;数据不是枯燥的报表,而是人工智能等新技术的关键基础。这是一个“数据”的时代,在这个时代,数据问题将成为企业数字化转型的障碍、社会资产流失的主谋、人工智能发展的屏障。在数据问题的影响下,企业业务创新变得窒碍难行。
在数据问题日益暴露的这两年时间里,大数据治理作为一门能让数据重生的艺术,在国家、社会、企业中的被关注度骤然升级,国家将政府的数据治理列为重要内容,标准协会也发布了大数据治理的相关标准,银行、证券、航空、制造等行业也陆续开始了大数据治理工作…
二、时代变了,数据治理也该“升级”了
数据治理已经有很多年的历史了,但数据治理项目往往因为各种原因而难以有好的效果,这些原因可能包括组织间的掣肘、巨大的工作量、不直观的效果等。在大数据时代,如何推动组织治理海量数据成为数据从业者的又一难题。作为专业的数据治理从业者,我和团队也一直在思考如何在不同类型的组织中开展并执行数据治理,解决数据治理的种种问题。
1、数据治理不是简单的数据质量提升,而是体系化的工程
在大数据时代,数据问题不仅仅是指数据质量问题,今日组织中经常出现的管理数据难、找到数据难、使用数据难等都变成了数据问题的一种。因此,大数据治理应该是一个系统化的工程,应该包括数据管理的组织建设、数据标准的落地实施、数据资产的梳理与业务化、大数据的自服务提供等内容。
2、数据治理不仅仅是严格的制度,而是服务化的提供
在国内大部分数据治理的理论中,一直信奉严格的制度能够解决企业中的数据问题,但在海量数据的时代,严格考核已经不是唯一的手段,抓住数据的需求,以服务化为核心来进行数据治理将能成为一种有效的手段,通过服务化的方式为使用者提供数据、治理数据,能做到在服务中治理,在服务中管控。
3、数据治理不是海量的人力投入,而是自动化的平台
在数据治理中,数据的梳理、数据标准的建立、技术元数据与业务元数据的获取与映射,一直是人工工作量最多的部分,这些工作量会给实施数据治理的组织带来巨大的负担。在海量数据中这个矛盾将会更为突出,为避免这个问题,在大数据治理中需要用更自动化、更智能化的方式来梳理数据与建立数据标准,自动化获取技术与业务元数据并建立二者之间的映射。
三、大数据治理之路有多长?
大数据治理是个长期的过程,虽说大数据治理会随着数据的问题减少而逐步规范化和常态化,但集中的建设能力周期是必须的。总结下来有四个主要的阶段:第一阶段,全面梳理企业信息,自动化构建企业的数据资产库。第二阶段,建立管理流程,落地数据标准,提升数据质量。第三阶段,直接为用户提供价值,向用户提供数据自服务。第四阶段,智能化企业知识图谱,为全企业提供数据价值。
我们团队在数据治理领域不断思考,在实践中积攒下来了很多经验,现将这些经验集结成册,从数据治理的发展方向,到如何自动化落地数据治理,再到数据质量,如何管理元数据,详细地诠释了这门能让数据重生的艺术。这一系列文章也是对我上述内容的进一步详细论述,希望这些文章能给实施数据治理的组织带来启发。
普元大数据产品线总经理 王轩
建设大数据平台,从“治理”数据谈起
王轩
一、大数据时代还需要数据治理吗?
数据平台发展过程中随处可见的数据问题
大数据不是凭空而来,1981年第一个数据仓库诞生,到现在已经有了近40年的历史,相对数据仓库来说我还是个年轻人。而国内企业数据平台的建设大概从90年代末就开始了,从第一代架构出现到现在已经经历了近20年的时间。
在这20年的时间里,国内数据平台实施者可以说是受尽折磨,数据项目一直不受待见,是出了名的脏活累活。
可以说,忽视数据治理给数据平台建设带来了不少问题。随处可见的数据不统一,难以提升的数据质量,难以完成的数据模型梳理等源源不断的基础性数据问题,限制了数据平台发展,导致数据应用不能在商业上快 ............
书籍插图:
以上为书籍内容预览,如需阅读全文内容请下载EPUB源文件,祝您阅读愉快。
书云 Open E-Library » 《架构世界》2018新年特刊大数据治理:一门让数据重生的艺术 - (EPUB全文下载)