大数据在未来生活中的应用？

摘要:？2月15日，哈尔滨理工大学软件学院院长、教授孙在CIO时代APP微讲堂栏目做了题为《大数据在高校智慧校园中的应用》的主题分享。

关键词:

首席信息官时代应用

微课

2月15日，哈尔滨理工大学软件学院院长、教授孙在CIO时代APP微课栏目做了题为《大数据在高校智慧校园中的应用》的主题分享，分小数据时代和大数据时代、高校智慧校园大数据应用案例两部分进行了阐述。

一、小数据时代和大数据时代

“数据”在拉丁语中是“已知”的意思，也可以理解为“存在”。所以“数据”是“存在”，“大数据”是“大存在”。研究大数据就是研究大存在，也就是研究一切物质、一切行为、一切思想和人类自身。

数据正在泛滥，改变着人们的生活和工作。数字化是指将现象转化为可以用指标分析的量化形式的过程，包括对世界的梳理和理解，以及形成可存储的经验。计算和记录有助于数据的生成，这是数据化的基础。数字化就是将模拟数据转换成用0和1表示的二进制代码，便于人类利用现代技术更好地处理数据。数字化是理念，数字化是手段；数据古已有之，数字化方兴未艾。

小数据时代靠的是随机抽样，其原理是用最少的数据获取最多的信息。但这样就无法了解一些微观细节，不利于一些具体子类的分析。而“不均匀是世界的本质”，细节的缺失会影响对整个自然活动和人类活动的探索和研究。另外，随机抽样是基于研究者的理论前提，只能回答选定的问题，很难考虑其他问题。也就是说，小数据时代面临着信息极其有限的“偏见”问题。

大数据时代意味着世界的数字化，意味着世界的本质是信息。世界不仅被认为是事件的组合，也是信息和数据的集合。这是世界观的一次深刻变革:人类有了过去认识和处理事件的经验，而不是盲目地遵循经验。人类收集“数据”却明确“所见、所想、所得”都是“数据”。我们生活在数据的海洋中，我们自己就是数据。

以上，从小数据时代到大数据时代，伴随或产生了以下变化和认识:

1，认识到“样本”等于总体。以更大、更全面、更综合的态度去观察、理解、关爱这个世界。

2.大数据对准确性的要求降低。在小数据时代，因为数据少，所以数据的准确率很高，当出现大量数据或者需要大量数据的时候，就不可避免的要接受数据的复杂性。

3.要知道数据错误并不是大数据的固有特征，而是需要处理的实际问题，可能会长期存在。

4.杂集永远不等于错误。杂交是大数据的常态，应该是基本状态和标准配置。

5.大数据揭示了传统样本无法揭示的详细信息。大数据是“精确”处理的基本方式。

6.在大数据时代，我们不再热衷于追求因果关系，而是试图探索不同事物之间的关系，并在此基础上找到可观测的相关对象进行预测。而预测是大数据应用的核心。

7.说明了相关性之后，就可以分析因果关系了。但必须注意的是，因果关系只是一种特殊形式的关联，在大数据时代因果关系不再是解释世界的基础；相关性是普遍存在的，在大数据时代更容易被发现，更能高效地指导实践。甚至随着大数据的发展，之前的因果关系可能会被证伪，或者被视为相关性。

1点是大数据对认识论的改造；第2-5点反映了大数据时代与传统时代截然不同的数据需求；第6点和第7点是对数据之间逻辑关系优先级的颠覆。从实用的角度来看，点1可以作为前提，点2-5可以作为数据收集和处理的准则，点6和点7可以作为数据解释的指导方向。

二、大数据在高校智慧校园中的应用

2015年，国家提出并制定了“互联网+”行动计划，将“互联网+”上升为国家战略。“互联网+”的提出，必将为高校智慧校园建设增添新的内涵，注入新的动力。借助“互联网+”，加快数字校园向智慧校园升级，充分利用云计算、物联网、移动互联网、大数据等一系列新技术、新理念、新模式，建设全新的智慧校园，有力支撑学校未来发展战略，推动人才培养和评价方式创新，提升校务治理水平，提供多层次个性化服务和智能化管理决策。高校智慧校园建设的核心内涵可以概括为“全面的环境感知、无缝的网络互通、灵活的云生态、海量的数据支撑、开放的学习环境、个性化的师生服务、智能的管理决策、高效的校务治理”。

在高校信息化的过程中，产生了各种结构化和非结构化的数据，包括教学管理数据、教学资源数据、学生信息数据等。，大到高校办学原则和策略，小到学生日常消费，数据多样，类型复杂。利用大数据技术收集和分析这些数据，并将其转化为高校管理和服务的可用资源，将在智慧校园建设中发挥非常重要的作用。

以下例子说明了大数据技术在智慧校园中的应用。

1，学校综合情况展示

对于学校管理者来说，通过对学校情况的综合分析和展示，可以直观地了解和横向、纵向比较学校的学生(本科生、研究生)、课程、科研成果、奖学金、就业、师资队伍、教师分布、干部、家具、资产、住房、排名、消费等各个方面。结合历年数据的变化规律，可以为辅助决策提供依据。不同系统之间数据的相关性可能为管理者决策提供新的思路。

综合学校情况展示主要包括基础数据分析展示和行为数据分析展示。

基础数据分析:如招生数据分析、学生数据分析、毕业数据分析、教师数据分析、课程数据分析、成绩数据分析、就业数据分析、高校资产数据分析等。

行为数据分析:学校食堂就餐情况、一卡通消费行为、上网行为、图书借阅行为、图书馆使用时间、上网时间/流量与绩效的相关性分析、重点人群的表征分析与预警等。

例如:

(一)高校就业信息统计。从大学生毕业去向、就业单位、就业区域、就业行业、就业薪酬等多维度统计分析，全面呈现高校就业形势，为高校就业办公室发现学生就业规律，为学生提供有针对性的就业指导提供支持。

(二)教学信息的统计分析。对于校领导来说，呈现了高校热门课程排名、各部门开设课程统计、学生成绩统计分析、不及格率分析，全面呈现了学生在校期间的学习和成绩分布情况，为指导高校开设课程、提高学生成绩提供支持。

(c)一张卡的统计分析。展现了大学生的整体消费能力和偏好，为后勤部门了解学生餐饮购物偏好，有针对性地提高服务水平提供了支持。

(四)各生源的消费能力。根据学生在这方面的消费能力统计，可以详细查看学生在某段时间内的消费金额和消费次数的统计。

(e)分析学校网络使用情况和统计学生上网行为。通过对学生上网地址的统计分析，结合其个人基本信息数据，可以按照性别、籍贯、部门等不同维度统计不同类别人群使用某一类网站的频率。如果记录的日志足够详细，甚至可以统计出学生在网上消费的偏好或偏向，这也是后勤或工程部门的重要参考。

应用的相关技术包括:数据关联分析、多源数据整合、海量日志数据处理、基准测试、指标体系建立、AgileBI和全文检索引擎。

2.公共资源使用分析

对于高校来说，食堂、体育场馆、教室、图书馆、校医院等公共资源是有限的，师生没有很好的途径了解这些资源的服务能力，导致经常排队、拥挤，给师生的学习生活带来不好的体验。随着学校信息化的推进，各部门的管理信息系统逐步建成并投入使用；随着技术的发展，特别是物联网和智能传感设备的出现，在数字校园中提供智能服务成为可能。

数据来源于刷卡消费、一卡通门禁、无线网络、校园安防视频监控等。

(一)食堂、澡堂的人员密度，食堂、公共澡堂各时段拟就餐人员密度，各类人员的就餐爱好和习惯(年级、籍贯、职称等。).

(b)教室使用情况、人员密度、每个时间段的教室使用情况、教室数量等。；基于无线网络的考勤。

(c)会议场馆和体育场馆的使用情况和人员密度。为师生提供会议场地的可利用性，运动场地的使用(有无课等。)，以及人员密度的释放。

(e)发布图书馆座位的使用情况和人员密度，并提供图书馆座位空缺和图书馆人数的信息。

学校中人员密度的分布。根据学校无线网络数据和安防视频监控信息，识别学校人员热力分布图。

应用的相关技术包括:数据关联分析、数据挖掘(聚类分析)、海量日志数据处理、多源数据集成(日志数据和结构化数据的集成)、高速内存数据库和分布式全文检索引擎。

3.个人数据报告

为校园师生提供个性化的数据服务，展现他们在校园内的学习、消费、生活、健康状况。

个人行为习惯可以通过严谨的数据分析，帮助学生更好地了解自己，了解自己与他人的差异，帮助校园师生感受到信息化带来的人文关怀和改变。

数据来源于刷卡消费、图书馆门禁、图书借阅系统、校园网络系统、体育场门禁等等。

(一)校园卡账单和消费习惯分析报告；

(b)关于图书馆的使用频率、持续时间和借阅习惯的分析报告；

(c)关于在线账单和在线习惯的分析报告；

关于体育锻炼的学期报告。

通过高校官方微信号和APP，移动互联网时代方便用户及时阅读、分享和传播。

为校园师生提供个性化的数据服务，展示他们在校园内学习、消费、生活、健康等方面的个人行为和习惯，从严谨的数据分析中帮助学生更加了解自己以及与他人的差异，帮助校园师生感受信息化带来的人文关怀和改变。

应用的相关技术包括:数据关联分析、数据挖掘(用户画像)、海量日志数据处理、多源数据整合。

4.图书馆电子期刊资源利用效率分析。

高校每年都要花钱购买名刊馆藏，为师生提供便捷的文献检索和下载服务。图书馆对电子期刊资源的利用以及不同学科对不同电子期刊资源偏好的差异是图书馆迫切需要了解的内容。通过对大学用户期刊文献检索记录的大数据分析，优化纸质期刊的采购方案，使图书馆采购到师生更需要的资源(传统纸质+电子资源)，提高现有采购效率。

学校通常的做法是向数据提供商(如万方、CNKI)购买电子期刊资源的访问统计数据，但这种方法是基于学校的整体访问数据进行统计分析，无法基于用户的访问明细分析，因此无法获得基于不同学科、不同学院和专业特点、不同师资水平的不同人群的期刊访问分析，也无法了解不同资源库使用情况的横向对比分析。对师生的检索关键词进行挖掘也是一个非常重要的方向，但是传统的方法无法了解学校师生的检索偏好、检索热点等具体信息。

导出的网络日志数据记录了师生访问电子期刊资源库的行为。通过利用大数据技术对导出URL日志等数据进行处理，提取关键信息，将实现对图书馆电子资源使用情况和人群分析的综合分析，为图书馆的采购决策提供辅助。

数据来源于图书馆购买的电子期刊资源清单、师生上网的URL日志、师生上网的身份认证。

应用的相关技术包括:数据关联分析、海量日志数据处理、多源数据集成(日志数据和结构化数据的集成)、分布式全文检索引擎。

5.校园舆情监控

在移动互联网的大潮下，正面和负面的信息都会以更快的速度传播。一个学校的声誉对招生、就业、评价都有很大的影响。随着移动互联网和社交媒体的普及，高校越来越重视学校的社会评价。目前，一些高校会利用互联网数据监测学校的声誉，通过大数据的手段，实时监测互联网新媒体上与学校相关的新闻、传播话题和用户反馈，了解学校的舆情、声誉和影响力。

应用的相关技术包括:文本挖掘、语义分析(正反判断)、语义相似度计算、弹性爬虫引擎和分布式全文检索引擎。

我所了解的大数据在智慧校园的应用还包括教学信息的统计分析。通过对课程知识结构的样本分析，结合教育过程和学生学业成绩分布，验证课程教学过程的合理性和在工程教育认证中的达成程度，综合分析课程设置的合理性。

再如学校资产管理信息分析，借助资产管理信息平台，实现对校园基础设施、教学实验设备、校园通信网络设备的采集和分析，为学校基础设施建设方向、教学实验设备维护、校园网络通信设备升级提供数据支持。

“智能网格学生管理平台”以高校信息技术和数字化校园建设成果为基础，以社区网格、管理网格、教育网格为载体，构建学生发展综合管理和服务流程优化的整体框架。主动辅导学生全生命周期的生活、学习、思想发展过程，形成协调可持续的智慧管理和引导发展新模式，具有学生画像、学生行为预警(学籍、学习、消费、身心健康)、学生家庭经济状况分析、学生综合数据检索、学生群体分析等功能。，并能辅助学生安全教育管理、学生心理健康辅导、精准资助。

因为时间关系，今天交流太多。谢谢你