DIKW体系
DIKW体系是关于数据,信息,知识及智慧的体系,可以追溯至托马斯·斯特尔那斯·艾略特所写的诗——《岩石》。在首段,他写道:“我们在哪里丢失了知识中的智慧?又在哪里丢失了信息中的知识?”(智慧我们失去了知识在哪里?/知识我们已经失去了在信息在哪里?)。
1982年12月,美国教育家哈蓝·克利夫兰引用艾略特的这些诗句在其出版的《未来主义者》一书提出了“信息即资源”(信息资源)的主张。
其后,教育家米兰·瑟兰尼,管理思想家罗素·艾可夫进一步对此理论发扬光大,前者在1987年撰写了《管理支援系统:迈向整合知识管理》(管理支持系统:综合知识管理),后者在1989年撰写了《从数据到智慧》(“智慧”的数据,人类系统管理)。
数据工程领域中的DIKW体系
<强> <代码> D>
<强> <代码>我>
<强> <代码> K>
<强> <代码> W :智慧(智慧),表示对知识进行独立的思考分析,得出的某些结论。在数据工程里,工程师和科学家做了大量的工作用计算机程序尽可能多地提取了价值(I/K),然而真正要从数据中洞察出更高的价值,甚至能够对未来的情况进行预测,则需要数据分析师。
数据工程领域职业划分:
数据工程是一整套对数据(D)进行采集,处理,提取价值(变为我或K)的过程。
首先介绍一下相关的几种角色:<强>数据工程师(数据工程师),<强>数据科学家(数据科学家),<强>数据分析师(数据分析师)强。这三个角色任务重叠性高,要求合作密切,但各负责的领域稍有不同。大部分公司里的这些角色都会根据每个人本身的技能长短而身兼数职,所以有时候比较难以区分:
<李> <>强数据工程师数据工程师:分析数据少不了需要运用计算机和各种工具自动化数据处理的过程,包括数据格式转换,储存,更新,查询。数据工程师的工作就是开发工具完成自动化的过程,属于基础设施/工具(基础设施/工具)层。
但是这个角色出现的频率不多,因为有现成的MySQL, Oracle等数据库技术,很多大公司只需要DBA就足够了。而Hadoop, MongoDB等NoSQL技术的开源,更是使在大数据的场景下都没有太多数据工程师的事,一般都是交给数据科学家。
<李> <>强数据科学家数据科学家:数据科学家是与数学相结合的中间角色,需要用数学方法处理原始数据找出肉眼看不到的更高层数据,一般是运用统计机器学习(统计机器学习)或者深度学习(深度学习)。
有人称数据科学家为<强>编程统计学家(编程统计),因为他们需要有很好的统计学基础,但也需要参与程序的开发(基于基础设施之上),而现在很多很多的<>强数据科学家职位都要求身兼<强>数据工程师。<强>数据科学家是把D转为我或K的主力军。
<李> <>强数据分析师数据分析师:数据工程师和数据科学家做了大量的工作,用计算机程序尽可能多地提取了价值(I/K),然而真正要从数据中洞察出更高的价值,则需要依靠丰富的行业经验和洞察力,这些都需要人力的干预。
数据分析师需要的是对所在业务有深刻了解,能熟练运用手上的工具(无论是Excel、SPSS也好,Python/R也好,工程师给你开发的工具也好,必要时还要能自己充当工程师和科学家,力尽所能得到自己需要的工具),有针对性地对数据作分析,并且需要把发现的成果向其他职能部门呈现出来,最终变为行动,这就是把数据最终得出智慧。 什么是数据分析:
<强>百度百科:数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。
数据分析_DIKW与数据工程
