789
作者：Suad Jusuf
Senior Manager
数据的完整性及其规范
数据可以指单独的事实，或者统计后的数据，还可以是各种信息的汇总，通常以数字表示。数据管理的重要性始于计算机科学本身的诞生。数据处理最初的重点是转换，存储，然后传输。然而，近年来，随着手机、智能传感器、联网汽车和我们周围许多其他数字设备的兴起，出现了前所未有的信息大爆炸。
不断增长的海量数据，需要人们采取合适的方式来管理它，通过减少数据冗余，保证准确和及时的获取，来确保数据的质量。为分析而访问和存储大量信息，人们已经有很多年的经验了。但大数据的概念在21世纪初获得了新的发展动力，它基于三个要素：数量、速度和多样性。对大数据进行分析以获得更好的洞察力来指导决策，是大数据的真正意义。这意味着收集的数据只有在最终用于解决问题并进而实现新的收入流和财务增长时才具有意义。这就是“数据科学”领域发挥关键作用的地方，因为它采用现代工具和技术来发现数据背后隐藏的有价值的信息，并据此做出成功的商业决策。
什么是数据科学
数据科学是一个术语，指的是使用各种科学手段、算法和步骤从不断增长的海量数据中提取背后含义的综合方法。使用软件科学识别出原始数据背后的规律和含义。这些有价值的见解有助于支持业务决策，分析解决业务困境，并将其转化为可行的解决方案。
企业如何依赖数据科学？
传统的商业数据分析（BI）工具不是为处理大量非结构化数据而构建的。数据科学利用更先进的工具来帮助分析、分类和筛选来自多个相关领域的大量数据，可在处理非结构化数据方面发挥重要作用。例如，在营销领域，基本的人口统计因素，如客户年龄、性别、地点和购买行为，有助于制定具有针对性的活动。这些活动，因为它们通过客户的浏览和购买历史来评估客户对商品的倾向，因此更能达到精准营销的目的。同样，在银行业务中，监控异常的客户交易可以帮助识别金融欺诈行为。在医疗保健行业，仔细检查和评估患者的病历可以揭示患病的可能性等等。
通过预测性维护，机器中的智能传感器收集数据，帮助工厂减少停机时间及相关的收入损失。预测和提前处理潜在的可能造成停产的问题，工厂就可以一直保持最高效率运行。
数据挖掘和KDD
“数据挖掘”通常与KDD（Knowledge Discovery in Database，数据库中的知识发现）互换使用。如今，几乎每个行业都越来越受数据所驱动。但是，只有当你分析数据并找出它背后的价值时，数据才有意义。
大多数行业积累了海量数据，但在缺乏展示数据趋势的图形、图表和相关分析机制的情况下，纯数据本身没有多大意义。从现在数据积累的速度和规模上看，使用传统数据管理机制很难应对这样的挑战。因此，从经济和科学的角度来看，利用数据科学提升我们的分析能力，以便我们能够更好地处理我们的大数据，变得非常有必要。
下图显示了管理数据的各种工具之间的关系。
模式识别
模式识别通过识别数据模式来研究数据内涵。根据数据的类型和配置，可以使用不同的模式识别方法。模式按照描述性模式识别进行分类。对目标进行特征识别，并将这些特征与已知模式进行比较以判断它们是否匹配，或者存在差异。
统计学
在解决复杂且需要方法论的问题方面，统计学发挥着重要作用。这在有很多不确定性因素背景下需要做出高风险决定时尤其如此。统计学可以为分析师提供有把握的答案。
分析
分析是指检查数据，解决问题、获得洞察力并识别趋势的过程和行为。这是通过使用各种工具、技术和体系来完成的，根据所执行的分析类型而有所不同，主要有以下四种类型：
机器学习
机器学习是人工智能的一个分支，它依赖模型来执行自主任务。它依赖统计学和算法，根据历史数据帮助用户做出预测或决策。数据科学家使用机器学习和人工智能等技术来管理公司的数据。这使公司能够对即将发生的事情进行精确分析，从而对企业的未来产生积极的影响。
数据科学流程
CRISP-DM代表“数据挖掘的跨行业标准流程”，提供一个总览模型，描述数据科学的生命周期，帮助规划、组织和实施数据科学项目。它由以下步骤组成：
当辩证性思维遇到机器学习算法时，数据科学可以帮助获得对业务更佳的见解，提高工作效率，并提供业务决策的预判。最终目标是使公司能够从数据科学中受益，做出积极决策，以提供更多创新的产品和服务。
下载ECAD模型
