图灵汇官网

大数据与云计算

在PaaS层中，一个复杂的通用应用是大数据平台。大数据是如何逐步融入云计算的？

数据虽小亦蕴含智慧

起初，大数据并不庞大。原来有多少数据？现在大家上网看电子书、浏览新闻，而在我们80后小时候，信息量没有这么大，只是看看书、报纸。一个星期的报纸加起来有多少字？如果不是在大城市，一个普通学校图书馆里的书籍数量也很有限。后来随着信息化的发展，信息量才逐渐增多。

大数据主要分为三类：

• 结构化数据：指具有固定格式和有限长度的数据，如填写的表格。
• 非结构化数据：这类数据长度不固定，没有固定的格式，如网页、语音、视频等。
• 半结构化数据：XML或HTML格式的数据，通常不需要深入了解其细节。

数据本身并无价值，必须经过处理。例如，佩戴手环收集的跑步数据，以及网上的网页，都被称为数据。数据本身并没有用途，但数据中包含有用的信息（Information）。通过梳理和清洗，数据才能转化为信息。信息中包含了规律，需要从中提炼出知识（Knowledge），而知识可以改变命运。

信息很多，但有人只是浏览，有人却能从中看到电商或直播的未来，所以后者更为出色。如果没有从信息中提炼出知识，只能在网络潮流中做一个旁观者。

有了知识，再利用这些知识去实际操作，有的人可以做得很好，这便是智慧（Intelligence）。

有知识不一定有智慧，有些学者很有知识，但一到实际行动就失败了。而许多创业者之所以成功，是因为他们通过获得的知识应用于实践，最终取得了显著成果。

因此，数据的应用分为四个步骤：数据、信息、知识、智慧。

最终阶段是许多商家所追求的。他们收集了大量的数据，能否利用这些数据进行下一步决策，改进产品？

例如，让用户在观看视频时，旁边弹出广告，正是他们想要购买的商品；或者让用户在听音乐时，推荐他们可能喜欢的其他歌曲。

用户在应用或网站上随意点击或输入文字，这些都构成数据。关键是要从中提取有价值的信息，指导实践，形成智慧，让用户沉浸在应用中，不愿离开。

许多人提到双十一时，都希望断网。妻子在网上不停地购物，买了A后又推荐B，妻子说：“B我也喜欢，老公我要买。”这说明程序如此聪明，甚至比自己更了解妻子，这是如何做到的？

数据如何升华为智慧

数据处理分为以下几个步骤，最终形成智慧：

• 数据收集：有两种方式，一种是抓取或爬取，另一种是推送。
• 数据传输：通常通过队列进行处理。
• 数据存储：数据存储非常重要，因为网站需要知道用户的历史交易数据。
• 数据处理和分析：清洗和过滤原始数据，进行分析。
• 数据检索和挖掘：搜索和挖掘数据之间的关系。

大数据时代，众人拾柴火焰高

当数据量较小时，少量机器即可解决。但随着数据量增加，即使最好的服务器也难以应对。这时就需要多台机器协同工作，共同完成任务。

对于数据的收集，物联网设备可以收集大量环境数据；对于网页的搜索引擎，需要下载整个互联网的网页。

一台机器显然无法完成，需要多台机器组成的网络爬虫系统，同时工作，才能在短时间内下载海量网页。

数据传输方面，内存队列容易被大量数据挤爆，因此采用基于硬盘的分布式队列，多台机器同时传输数据。

数据存储方面，一台机器的文件系统显然无法容纳所有数据，需要一个分布式文件系统。

数据分析方面，可能需要对大量数据进行分解、统计、汇总，一台机器显然无法完成，因此采用分布式计算方法，多台机器并行处理。

大数据需要云计算，云计算需要大数据

云计算可以为大数据的运算提供资源层的灵活性。而云计算也会将大数据部署到其PaaS平台上，成为一个重要的通用应用。

小公司需要大数据平台时，无需采购大量机器，只需在公有云上一键启动，大数据平台就会自动配置好，数据可以直接处理。

人工智能拥抱大数据

有了大数据，人类的需求仍未满足。尽管大数据平台中有搜索引擎，可以搜索所需信息，但仍然存在搜索不到的情况。例如音乐软件推荐的歌曲，用户听过后喜欢，但无法通过搜索找到。

人们期望机器能理解他们的需求，而不是等待用户主动搜索。这涉及人工智能。

让机器学会推理

人们尝试教会机器推理能力，例如数学公式证明。但人类语言的复杂性使得机器难以理解。人类语言表达千变万化，机器难以总结出规律。

教给机器知识

仅仅告诉机器严格的推理是不够的，还需要教授一些知识。但教授知识并非易事，需要专家的协助。

让机器自己学习

于是人们想到，让机器自己学习。基于统计学习，机器可以从大量数据中发现规律。例如统计歌手歌词中常用词汇，基于这些词汇生成新歌词。

模拟大脑的工作方式

人类大脑不是通过规则或统计数据工作，而是通过神经元的触发实现。神经元之间通过输入和输出相连，通过权重调整输出结果。

人工智能需要大数据

神经网络包含大量节点和参数，需要大量数据支持。基于大数据和人工智能，可以更精准地进行用户画像、文本理解和图像理解。

基于三者关系的美好生活

云计算的三兄弟IaaS、PaaS和SaaS齐聚一堂。大数据公司可以使用人工智能算法提供服务，人工智能公司也需要大数据平台支持。云计算、大数据和人工智能整合在一起，形成了一个完整的生态系统。