大数据与现实生活

图灵汇官网

数据分析

  1. 一位女士拿着丈夫的iPad去朋友家上网,结果发现WiFi自动连接上了……

  2. 有人在微博上抱怨推荐系统:“这个烂推荐系统,竟然把我前女友推荐给我的老婆,还说你们有共同好友!”

  3. 一名女生把前男友从QQ好友列表中删除,几天后收到一个提示:“你可能认识这个人。”女生心想:“这还用说!”


一、数据

数据

数据是事实或观察的结果,是对客观事物的逻辑归纳,是未经加工的原始素材。数据可以是连续的值,如声音和图像,也可以是离散的值,如符号和文字。

在计算机系统中,数据以二进制信息单元0和1的形式表示。

信息与数据既有联系,又有区别。数据是信息的表现形式和载体,可以是符号、文字、数字、语音、图像、视频等。而信息则是数据的内涵,是对数据赋予特定含义的解释。数据和信息是不可分离的,信息依赖数据来表达,数据则通过具体的表达方式传递信息。数据本身是没有意义的,只有当数据对实体行为产生影响时,它才成为信息。

按照性质分类:

  • 定位数据:如各种坐标数据。
  • 定性数据:如描述事物属性的数据,例如居民地、河流、道路等。
  • 定量数据:反映事物数量特征的数据,如长度、面积、体积等几何量或重量、速度等物理量。
  • 定时数据:反映事物时间特性的数据,如年、月、日、时、分、秒等。

按照表现形式分类:

  • 数字数据:如各种统计或量测数据,数字数据在某个区间内是离散的。
  • 模拟数据:由连续函数组成,是指在某个区间内连续变化的物理量,如声音的大小和温度的变化等。

按照记录方式分类:

  • 地图、表格、影像、磁带、纸带等。
  • 数字化方式:包括矢量数据、格网数据等。在地理信息系统中,数据的选择、类型、数量、采集方法、详细程度、可信度等,取决于系统应用目标、功能、结构以及数据处理、管理和分析的要求。

二、大数据

大数据的概念

大数据的概念最早由维克托·迈尔-舍恩伯格和肯尼斯·库克耶在《大数据时代》一书中提出,指的是不再采用随机分析法(抽样调查),而是采用所有数据进行分析处理的方法。大数据具有四个特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。

大数据处理流程

大数据处理流程包括:数据采集、数据预处理、数据存储、数据分析、数据挖掘、结果展现。

三、大数据与现实生活

大数据时代带来的三种变革:

  1. 思维变革:要全体数据、不要样本;要效率、不要精确度;要相关关系、不要因果关系。

    • 案例:沃尔玛“啤酒+尿布”背后的大数据。20世纪90年代的美国沃尔玛连锁超市。管理人员发现“啤酒”与“尿布”这两件商品经常一起出现在消费者的购物篮中。原因是年轻的父亲在购买尿布的同时,会顺便为自己购买一些啤酒。沃尔玛将啤酒和尿布摆放在同一区域,使消费者能够方便地购买这两件商品,从而提升了销售额。
  2. 商业变革:一切皆可量化;数据创新;角色定位。

  3. 管理变革:让数据主宰一切隐患;责任与自由并举的信息管理。


大数据对生活的影响

学校大数据分析,补助

近日,电子科技大学学生陈文(化名)收到了学校悄悄发放的600元隐形补助金。据了解,该校共有82名本科生获得了隐形补助,获资助的学生名单是通过大数据智慧助困系统的统计分析结果得来的。隐形补助既解决了贫困大学生的实际困难,又保护了他们的隐私和尊严,得到了广泛好评。

大数据技术的挑战

案例:买披萨告诉你什么是大数据?

随着可穿戴设备的普及,我们的行为和位置等数据被记录下来,通过这些数据进行挖掘和分析,可以发现潜在的价值。然而,大数据的发展也带来了数据拥有权和隐私问题。如何在保障个人信息安全的同时,利用大数据创造更多价值,这是一个值得深思的问题。

大数据技术的发展趋势

  1. 数据分析成为大数据技术的核心:数据分析在数据处理过程中占据重要位置,未来大数据技术的发展将更加依赖于数据分析。

  2. 广泛采用实时性的数据处理方式:大数据处理系统需要不断更新,以满足人们更快获取信息的需求。实时数据处理方式将成为主流,推动大数据技术的发展。

  3. 基于云的数据分析平台将更加完善:云计算技术的发展为大数据提供了分布式计算方法和相对便宜的存储空间,这些都将推动大数据技术的进步。

  4. 开源软件的发展将推动大数据技术的发展:开源软件在大数据技术的发展中扮演着重要角色,它们可以促进商业软件的发展,共同推动大数据技术的发展。

本文来源: 图灵汇 文章作者: 前海柔云