图灵汇官网

高校大数据及其处理架构

高校中汇集了大量信息，从学生角度看，包括联系方式、生活信息（如食堂消费、住宿晚归）、学习信息（如选课、课后作业、借阅图书、成绩）、第二课堂信息（如社团、竞赛、讲座等）。从教师角度看，包括教学任务、课件等教学信息，论文著作、科研数据等科研信息。从管理者角度看，包括学校资产、师资、招生就业等信息。随着移动互联网和物联网等新技术的发展，师生主动产生的信息和设备自动收集的信息越来越多，如微博、微信等社交信息，搜索点击记录等。

这些信息具有数据量大、结构复杂、产生频率高的特点。这意味着利用常规软件工具捕获、管理和处理这些数据所需的时间可能超出可接受范围。

大数据处理流程

大数据处理流程与一般数据处理过程相似，主要分为数据抽取与集成、数据分析和数据展示。

数据抽取与集成

大数据的数据来源广泛，包括传统关系型数据库、半结构化数据（如XML）和非结构化数据（如视频、音频、文本）。数据抽取和集成的核心问题是收集和整合各种碎片化的数据，清洗数据，保证数据质量，并根据时间演进更新数据模式，确定数据实体及其关系，最终将数据按统一格式存储。

目前，高校已经建立了较为完善的管理信息系统、学习管理系统等，积累了大量结构化数据。同时，系统中也散布着大量半结构化和非结构化数据。这些数据经过处理可以转化为结构化数据。

数据分析

经过数据抽取和集成后，需要对数据进行分析，挖掘潜在价值。传统数据挖掘、机器学习、统计分析等方法仍然适用，但需要根据大数据特性进行调整。例如，为了处理海量数据，可以使用Map/Reduce模型进行拆分处理；大数据分析通常具有实时性，需要平衡处理效率和准确率；大数据分析通常基于云计算平台，需要考虑与云计算平台的集成或作为云服务提供。

数据展示

数据分析结果需要以直观可理解的方式呈现给用户。大数据时代，分析结果可能非常庞大，数据维度更多，数据可视化技术通过图形化方式展示分析结果，已被证明是非常有效的手段。常见的可视化方法包括多维叠加式数据可视化、数据在空间、时间坐标中的变化和对比等。

应用场景

许多高校正在利用大数据分析技术解决实际问题，如分析用户IT使用行为，确定用户行为异常，审计IT基础环境，制定安全防护措施。其他应用场景包括分析学生参与网络课堂的数据，以改进课程讲授方式，实现因材施教的目标。

高校可以在多个方面借助大数据分析技术，如就业情况分析、学习行为分析、学科规划、心理咨询、校友联络等，挖掘数据中潜在的价值。

就业情况分析

当前，高校面临就业问题的紧迫性和重要性不断增加。本文提出了在大数据分析框架下的就业问题分析思路。数据来源包括就业单位、就业地区、所在院系专业、性别、签约类别、就业年份等维度。应用大数据分析技术，可以收集更多维度的信息，如学习情况、社团信息、生活信息、校外实习、参加竞赛及获奖情况等。

数据抽取与存储

根据不同数据来源，采取不同的数据抽取方式。对于结构良好的数据，采用ETL工具（如Informatica Powercenter、Kettle）将数据抽取到HBase数据库中。对于非结构化数据（如网页数据），通过Nutch抓取，Solr索引后存储到HBase数据库中。

数据分析

将数据存储在HBase数据库后，可以使用Hive进行查询和分析。Hive提供了一种类SQL查询语言，适合数据仓库统计分析。此外，还可以利用Mahout进行机器学习，包括监督学习和无监督学习，如协作筛选和聚类，为即将毕业的学生推荐合适的就业单位和岗位，提供个性化的服务。

数据展示

数据展示层可以使用Tableau软件进行可视化展示，Tableau将数据与美观的图表结合在一起，包含多种预定义图表格式，同时可以在单一图表中展示时间、地图等多种维度。

其他应用场景

• 学习行为分析：学习管理系统为学生提供课程学习和交流空间，大数据分析可以监控学生的学习行为，提高学习效果。
• 学科规划：借助大数据分析，高校可以分析学科建设中存在的不足，确定学科未来发展方向，发掘国际视野的学科带头人。
• 心理咨询：利用大数据技术分析师生思想情感模型，有助于心理辅导。
• 校友联络：利用大数据技术收集社交网站上的非结构化数据，提高校友数据收集效率。

应用难点与对策

大数据在高校的应用存在数据集成困难、数据分析方法待改进和数据隐私问题等难点。高校应探索融合结构化、半结构化、非结构化数据的统一模型，提高数据采集质量，强化数据文化；跟踪大数据分析方法的研究动态，探索新型数据分析方法；在保护隐私的前提下合理使用数据，逐步解决隐私问题。

移动互联网、MOOC等技术的兴起为高校带来挑战，高校应充分发挥大数据在其中的支撑作用，广泛收集过程数据，结合可视化技术充分分析和挖掘数据价值，倡导和强化数据文化，建立持久运作的数据收集、分析和应用体系。