数字化高校下的数据融合平台的建设与研究
摘要
关键词
数字化;高校;数据融合;平台;建设
正文
引言:随着信息技术的进步,高校中数字校园建设已经迈入智慧校园建设阶段。智慧校园的主要特点是融入云计算、物联网、大数据、人工智能等智慧元素,实现从环境、资源到活动的信息化智能升级,提供一种全面感知和智慧化的校园信息化生态环境。《国家中长期教育改革和发展规划纲要》指出:“信息技术对教育发展具有革命性影响”,将“教育信息化纳入国家信息化发展整体战略”。2020年7月,教育部正式发布《数字校园规范》,指出数字校园不仅包括技术系统,还包括组织体系。技术系统涉及多部门、多系统,需要进行顶层设计,进行数据标准编制和系统架构设计,处理好各系统之间关系,实现良好的系统集成,便于系统联通、数据融合共享,构建一体化信息服务平台。数字校园为学生、教师、管理人员和校外人员等提供集成的数字资源、数字化教育教学、培训和管理服务,同时,促进学生和教师信息化职业素养的全面发展。
1高校系统现状
1.1教务系统与学工系统不互通
通常教务处和校督导组有查课任务,那么就要了解请假学生的情况,但是从教务系统中是无法获知的,必须登录学工系统,例如辅导猫系统,才能看到学生请假情况,这就给使用教务系统的查课组带来了困难。而具体班级人数也可能不一致,因为教务系统与学工系统不互通。当然,目前可以通过人工操作同步数据,但是工作效率太低,完全不符合数字化校园需求。
1.2教务系统与人事系统不同步
随着教师的去留、教师职称的晋升,人事系统中的教师信息是动态的。但是在教务系统里现有的数据与实际数据可能不符,利用教务系统分析学校师资年龄结构、性别比例、各级职称教师人数等会造成数据不准确情况。现有两个平台是无法将各方面数据进行综合分析并挖掘内在关系的。如果两个系统中教师信息可以同步,则会大大提高师资的科学管理水平与统计汇总工作效率。
1.3教学管理不客观
评判教师是否优秀,不单单要结合教务系统查看教师的工作量完成情况,还要获取科研系统中教师的科研工作量、学工系统中学生对教师评教情况等数据综合得出该教师是否“优秀教师”。评判学生是否贫困、可获得奖学金的等级时需要结合教务系统学生考试期末成绩、学工系统学生上课记录、一卡通平台学生消费情况综合比较相关数据,得出该学生是否需要“贫困助学”。
2高校数字化校园需求
长期以来,高校为社会培养了大批的优秀人才,为我国社会发展提供了人才支撑,所以促进高等教育管理的信息化发展以促进高等教育质量的提升实属必然。近些年来,高校一直致力于社会主义接班人的培养事业,越来越重视对学校“数字化校园”建设的投入,为了进一步提升高校的教学质量与水平,提升高校的综合竞争力,高校要在数字化校园大发展背景下推进学校的现代化发展,提升教育管理的数字化水平,以信息化手段促进高校的发展。随着校园互联网、物联网、移动网(以下简称三网)的普及应用,高校所产生的数据迅速膨胀,高校的大数据环境已经形成。但数据形式各异,缺乏有效的整合,尤其是大量珍贵的历史数据躺在孤独的遗留系统之中,高价值的实时和历史数据隐藏在大量的网络应用中,因未能有效整合而缺乏有效利用。世间万物皆相连,数字化校园也应如此,教学管理者和师生对数字化的要求是互联互通,高校如果想要实现数字化实现教学管理、服务和决策采用数据量化、数据预测的目标,现存的网络间、系统间必须打破孤立壁垒,链接“数据孤岛”。为遵循《数字校园规范》,实施数字化校园首要工作就是对现有的各系统进行融合,达到数据互通、数据同步、数据共享,客观反映教学管理的实际,为高校的进一步发展提供“数字”依据。
3高校数据融合平台搭建的思路
首先,分析数字化校园的功能需求,建立需求模型,从而抽取所需的数据,建立数据模型。其次,分析现有的异构系统数据资源,研究满足智慧校园建设数据哪些是必需的、哪些是缺乏的,需要补充什么、整合什么,研究一个投资少见效快适合高校的数据整合解决方案。再者,根据数据类别与数据需求设计数据融合的数据表。根据具体业务需求,分析异构系统中哪些数据需要接收、哪些数据需要推送、哪些数据需要修改、哪些数据需要统一。从数字化校园本质出发设计出用于各个层级数据存储的中间数据表,即数据的接收与发送字段,各教学管理系统产生的数据根据需要推送相应数据,真正做到数据的有效融合。第四,现有的异构系统之间毫无链接,且开发者不同、系统标准不同、使用环境不同、数据存储格式不同等等,要建立彼此间的链接就要各系统开放接口,然后完成接口设计并实现链接。第五,为在大数据建设当中减少投资且保证日常工作可持续进行,遵守现有操作人员的使用习惯,避免开发风险的缘故保留遗留系统,将遗留系统、三网数据在整合平台上进行整合实施,对原异构系统做非结构化数据处理的升级,诸如增加对日常工作、日常操作、日常行为进行记录和积累,为大数据分析提供更充分的数据资源。建立数字化平台。
4高校数据融合平台搭建的方案
4.1建立数字化平台
数字化平台是数字化转型的核心,可以集成教育教学、科研管理、校园服务等各个方面的信息化应用,实现数字化、信息化和智能化的统一管理。
4.2推进数字化教学
数字化教学是数字化转型的重要内容,包括在线教学、云端实验、智慧课堂等应用,可以提高教学效果和效率,满足学生个性化学习需求。
4.3加强数字化科研管理
数字化科研管理是数字化转型的重要支撑,包括科研数据管理、科研信息化、科研成果评价等应用,可以提高科研工作的效率和质量。
4.4提升校园服务水平
数字化转型可以提升校园服务水平,包括学生管理、校园一卡通、智能物流等应用,可以提高学生和教职员工的服务体验。一是,优化数字化教学环境。通过在线教学、云端实验、智慧课堂等应用,优化数字化教学环境,提高教学效果和效率。二是,优化数字化科研管理。通过科研数据管理、科研信息化、科研成果评价等应用,优化数字化科研管理,提高科研工作的效率和质量。三是,优化校园服务体验。通过学生管理、校园一卡通、智能物流等应用,优化校园服务体验,提高学生和教职员工的服务体验。四是,推广数字化转型方案。通过宣传推广数字化转型方案,增强数字化转型的认知和应用能力。
5高校数据融合平台搭建的关键技术
数字化平台是数字化转型的核心,可以集成教育教学、科研管理、校园服务等各个方面的信息化应用,实现数字化、信息化和智能化的统一管理。如图1所示为平台数字化建设方案图。
图1平台数字化建设方案图
5.1数据采集技术
数据采集是数据融合平台的基础,需要选择合适的采集工具和技术。高校数据来源广泛,包括教务系统、学生管理系统、科研管理系统、教学视频、图书馆资源等。因此,需要选择适合的数据采集工具,能够适应不同的数据格式和协议,并具有高效、稳定和可靠的特点。同时,需要针对不同的数据源进行定制化的采集配置,以确保数据的完整性和准确性。
5.2数据清洗和转换技术
采集到的数据往往存在格式不一致、冗余信息等问题,需要进行清洗和转换。这需要采用合适的数据清洗算法和工具,对数据进行标准化和规范化,去除冗余和错误信息,确保数据的准确性和可用性。同时,需要设计合理的转换规则,将不同格式的数据转换成统一的格式,以便于后续的数据分析和利用。
5.3数据存储和管理技术
数据融合平台需要一个高效的数据存储和管理系统,能够支持大规模数据的存储和处理。需要考虑数据的安全性和可靠性,选择合适的存储介质和备份策略。同时,需要建立完善的数据管理制度,确保数据的合规性和隐私性。
5.4数据分析和挖掘技术
数据分析是数据融合平台的核心功能之一,需要采用合适的数据分析方法和工具。需要根据不同的业务需求,设计合理的分析模型和算法,对数据进行深入挖掘和分析,为高校的教学、科研和管理提供决策支持。同时,需要注重数据的安全性和隐私性,避免数据泄露和滥用。
5.5数据可视化技术
数据可视化是展示和分析数据的重要手段,能够将复杂的数据以直观、形象的方式呈现给用户。需要采用合适的数据可视化技术和工具,如表格、图形、图像等,将数据分析结果以易于理解的方式呈现出来。同时,需要注重数据可视化的交互性和用户体验,提高数据的可读性和易用性。
高校数据融合平台的建设是一项复杂而重要的任务,需要掌握一系列关键技术。从数据采集到存储管理,再到分析和挖掘,以及可视化展示,每个环节都至关重要。只有掌握了这些关键技术,才能搭建出一个高效、安全、可靠的数据融合平台,为高校的教学、科研和管理提供有力支持。
6高校数据融合平台搭建的实施
6.1遗留系统
现在的Hadoop为大数据的存储和数据分析提供了方便,但是对原有的遗留系统进行应用和数据整合还需要开发者做很多工作,主要的开发工作集中在利用Zookeeper处理HBase与HDFS间的数据整合,利用Sqoop处理RDBMS与HDFS间的数据整合。在数据整合中非结构化数据在遗留系统中往往被忽略。而实际人的日常工作、日常行为产生大量的非结构化数据,而这些数据背后却可以挖掘出大量的信息。如教师在教学中要上交各种电子文档、图片等,在非大数据时代这些有用的数据是无法进行分析的,进而会被浪费掉。本技术对原遗留系统采用HBase及Zookeeper工具进行非结构化数据处理的功能扩展。
6.2三网系统
将互联网(包括局域网)、物联网、移动互联网的服务器接入大数据平台,采用Flume流数据采集工具,保存三网的实时数据,有助于对教工和学生个人行为轨迹的分析。
6.3大数据应用系统
使用分布式计算(MapReduce、Spark等)、人工智能组件(Mahout等)进行大数据分析、数据可视化(Tableau等)的前端应用。但是本阶段的工作依然离不开这方面的研究,因为前期平台建设要有的放矢,必须首先搞清数据融合的功能和数据需求。数据分析的维度有很多,可微观到学生、教师、员工每个人的考核,可微观到每门课、每项工作的质量,可以宏观到课程、专业、学院、学校的任何管理与建设。
结语:
本文运用大数据技术从立体的角度对专业数据进行深度融合,建立数据分析模型,构建智慧校园。利用Hadoop与异构系统进行整合构造新型的大数据处理平台有助于促进高校的智慧校园建设。在此基础上进一步完成大数据的各种功能模块建设,从而快速地挖掘出蕴含的价值信息,及时发现管理与教学活动中的问题和规律,为高校各部门和各学院的决策提供辅助和依据,为智慧校园的构建提供技术参考,为高校的大数据建设提供示范作用。
参考文献:
[1]张云萍.智慧校园建设背景下教学资源共享体系的研究[J].黑龙江教育学院学报,2019(08):49-51.
[2]刘璐.大数据时代高校数字化校园建设[J].中国管理信息化,2020,23(09):212-214.
[3]王立友.高校智慧校园大数据平台的设计与实现[J].河北民族师范学院学报,2020,40(2):88-93.
[4]贺建虎.基于云计算的高校智慧校园数据中心构建[J].电子技术与软件工程,2022(07):220-223
[5]于晓晶,左煜杰,郭玉斌.基于Tableau的苏州市空气质量可视化分析[J].资源节约与环保,2022(6):69-71+82
[6]李林国,等.基于Hadoop平台的大数据可视化分析实现与应用[J].西安文理学院学报(自然科学版),2022,25(03):53-58.
项目:高职院校数字化转型建设架构设计与实践研究(JGJX2023D1003)
...