大数据时代的几点思考

图灵汇官网

大数据、物联网与人工智能的时代

近年来,大数据、物联网、人工智能等概念逐渐受到人们的关注,成为各国战略规划的重要组成部分。随着互联网和计算机技术的不断进步,互联网终端产生的数据量不断增加,存储设备和云计算技术的进步大大降低了数据存储和处理的成本,使得海量数据得以保存并用于数据分析。这类数据的分析和利用已被证实能带来巨大的经济效益,因此大数据迎来了爆发式的增长。

数据爆炸的时代

人类社会经历了三次工业革命,从蒸汽时代、电气时代到信息时代,如今已进入信息和数据爆炸的时代。大数据如同显微镜和望远镜一样,为我们提供了全新的视角来观察世界。例如,2009年,谷歌工程师发表了一篇论文,介绍他们如何利用用户搜索记录来预测冬季流感的传播,其预测的及时性和准确性震惊了科学界和公共卫生领域的专家。相比之下,美国公共卫生部门在防控H1N1流感时,对疫情爆发地点和传播路径的调查和预测面临巨大挑战,现有的卫生系统信息反馈滞后,导致防控工作困难重重。

大数据时代的思维变革

在大数据时代,各行各业积累了大量数据,这些数据的累积引发了思维方式的变化。人们不再依赖精确的抽样调查,而是通过对整体大数据的理解和分析,获取所需的信息。这改变了人们对事物规律的认识和预测方式。

首先,过去由于计算机的存储和计算能力有限,人们只能通过抽样来代表整体样本,这限制了数据分析的全面性。而现在,随着存储和计算能力的发展,我们可以保存所有数据,全面展示事物的各个方面,从而避免了信息丢失的风险。抽样调查虽然在某些情况下具有较强针对性,但其过程中的资源消耗、随机性和准确性问题都值得反思。

其次,在大数据时代,数据往往是混杂的,不一定完全符合用户的需要。大数据通过概率来描述,而不是追求绝对的确定性。例如,IBM在1954年利用穿孔卡片进行机器翻译,通过学习语言的常用规则来翻译文本,但在具体场景中遇到困难。到了20世纪80年代,IBM的研究人员提出通过估算词与词之间的匹配程度来翻译,这种方法显著提高了翻译效率。到了2006年,谷歌通过全球互联网收集资源训练计算机,从各类网站上寻找对译文档,通过大规模语料库的训练,到2012年,谷歌数据库涵盖了60多种语言,支持14种语言的语音输入,实现了流利的互译。

再者,大数据时代不再强调因果关系的探索,而是通过相关关系来预测事件的发生概率。例如,沃尔玛通过分析销售数据发现,飓风来临前,不仅手电筒销量增加,蛋挞销量也增加,于是将这两种商品摆放在一起,既方便顾客又提升了销量。

大数据时代的商业变革

大数据的核心驱动力源于人类对测量、记录和分析世界的强烈好奇心。信息技术的发展促使信息的重要性超过了技术本身。随着计算和存储能力的提升,原本受限于技术条件的信息开始逐步实现数据化。数据化即将现实中的事物和现象转化为可以量化的形式,这一过程需要借助强大的存储和计算工具。例如,地理信息可以转化为电子地图,指纹和虹膜可以用于身份验证,基因测序信息有助于了解身体健康状况,社交软件信息可用于分析社会现象,可穿戴设备则可以监测人体健康状态,为医疗行业提供更好的服务。数据不再被视为静态的陈旧信息,而是可以在未来发挥更大作用的资源。谷歌街景和GPS数据最初用于地图导航,但现在在无人驾驶领域发挥了更大的作用。

大数据时代的管理变革

科技的发展并非没有负面影响。大数据的发展带来了便利和繁荣,但也对个人隐私构成了巨大威胁。所有个人信息、出行、购物和喜好都可能被“第三只眼”监视,随时面临信息泄露和滥用的风险。大型数据公司可能会形成数据垄断,一旦被不当利用,将对社会造成严重影响。因此,大数据的发展需要相应的监管条例,以避免滥用数据带来的严重后果。

本文来源: 图灵汇 文章作者: liusf168