扬州大学

应用产品:

数据标准制定服务

学校简介

学校属性

扬州大学坐落于国家首批历史文化名城扬州,是江苏省人民政府和教育部共建高校、江苏省属重点综合性大学、江苏高水平大学全国百强省属高校建设计划支持高校,全国首批博士、硕士学位授予单位,全国率先进行合并办学的高校。学校前身是1902年由近代著名实业家、教育家张謇先生创办的通州师范学校和通海农学堂。1952年全国院系调整时,其农科和代办的文史专修科西迁扬州,组建苏北农学院和苏北师范专科学校;其他4所院校也在同时期相继在扬建立或迁来扬州办学。1992年,学校由扬州师范学院、江苏农学院、扬州工学院、扬州医学院、江苏水利工程专科学校、江苏商业专科学校等6所高校合并组建而成。

信息化建设现状

经过多年在信息化上的持续投入和建设,扬州大学信息化实现了跨越性发展。在当前的信息化建设阶段,已在基础设施、信息化系统、用户服务方面取得了长足的进展。学校建设了各类业务系统基本能够满足日常业务需求。随着《教育信息化2.0行动计划》的印发和推动,目前学校也从数字化校园阶段逐步的向智慧校园阶段迈进。


序号

系统名称

1

人事系统

2

学工系统

3

教务系统

4

研究生系统(包含研工、研教)

5

一卡通系统

6

图书馆系统

7

财务系统

8

科研系统

9

资产系统

10

房产系统

11

团务系统

12

oa 系统

13

一站式服务平台


客户需求与愿景

痛点剖析

数据是学校的核心资产,也是学校举办高水平大学的核心竞争力,因此解决数据问题, 提升信息化应用水平,已是当务之急,刻不容缓。目前学校已经步入智慧校园建设阶段,在前期信息化建设阶段,已在基础设施、信息系统、用户服务方面取得了长足的进度,但是随着应用建设的逐步深入,管理更加细化,由于 数据平台建设时间已久,在当前智慧校园的建设需求下已无法实现较好的支撑,有关于数据的问题也不断暴露出来,面临的问题具体表现如下: 

——标准无法有效执行:当前的学校信息标准更多的是留存于文档介质,导致信息标准的修订难以快速有效分发,业务应用的承建商不能方便获取最新版本和直接使用信息标准。 

——缺乏完善的数据治理体系:应加强对数据质量、安全和生命周期管理,控制数据从输入、加工、传输、输出等数据各个处理环节的质量要求,完善和统一数据生命周期管理规范和流程。 

——数据架构落后带来的数据质量问题:数据集成、交换和共享的系统架构和核心技术老旧,导致更多依赖线下进行数据共享,且中心库的数据结构没有经过严格意义上的针对性 设计,没有经历“数据治理”阶段,数据范围和数据质量不容乐观。 

——缺乏更多数据种类的利用:目前数据平台仅面向于业务系统中的主数据进行集成和管理,对于更多类型的数据无法进行承载,例如半结构化机器日志数据、非结构化外部互联 网部数据等。基于传统关系型数据库的数据平台架构,无法对当前的一些有价值的“大数据”提供支撑和处理,限制了学校未来数据工作的开展。

——数据共享方式老旧,效率低下:智慧校园阶段对于数据的实时交互和应用的快速响应提出了更高的需求,传统基于 etl 工具单点集成的模式不仅无法复用建设成果,更带来了完全依赖人工、线下沟通协调复杂的问题。目前急需更为高效的线上数据连接体系,实现 一次治理多次复用,并构建一套可连接业务厂商、信息化处、校内核心数据、业务应用的完整体系。 

需求愿景

从学校当前的建设现状出发,即首先解决数据集成共享和数据质量问题。通 过建设数据治理平台和日志处理分析平台,大大改善当前存在的数据体系问题。并引入数据治理服务,帮助学校建立起一套可持续提升的“全量数据资产体系”,保证学校对于核心数据资产的沉淀和利用。并在此基础上构建统一的大数据平台,为今后所有的信息化应用建设提供低门槛、可获取的数据服务,从而加快应用建设步伐、降低数据对接成本,进一步实现大数据平台对智慧校园建设的支撑作用具体建设目标可细化为: 

1) 通过数据治理平台的建设,构建完整的从业务数据输入、加工、传输、输出等数据各个处理环节的质量管理体系,对将数据处理的流程进行有效的管控。避免原先对平台承建厂商的过度依赖,实现学校对于业务系统数据的自主管理。 

2) 引入数据治理服务,包括需求调研、信息标准制定与迭代、代码标准制定与迭代、数据集成清洗转换、数据质量提升等方面,最终形成标准化的数据资产和对应的管理制度,从数据集中管理阶段逐步向全量数据资产利用阶段转变。 

3) 日志处理分析平台的建设,在业务系统数据治理的基础上,进行更多数据类型的综合治理和关联应用。实现对例如网络、行为审计、防火墙等海量日志数据的处理,并与学生、教师等业务数据进行关联,拓展分析的维度,提升分析精准度。 

4) 构建基于大数据平台的统一数据开放和管控体系,降低数据对接的难度,进一步实现线上的数据开放和全流程管控,为智慧校园生态体系的构建打下坚实的基础。

5)构建基于大数据平台的分析应用,为学校教师群体提供可感知、愿意用的大数据分析服务,解决教师个人信息口径多、各系统间数据不一致的问题,通过数据聚合从不同视角呈现个人及其关联数据。


建设方案及目标

建设框架

图:扬州大学大数据平台总体架构

●    全量数据采集治理层:基于《扬州大学信息化标准规范》统一的引导,将原有分散在各个部门业务系统中、it设备中的多源异构数据进行全量采集、汇聚和清洗转换,并按照业务域进行数据集分类的划分,形成学校的统一数据仓库。对于线下表格数据的统一收集和治理使用的方案,从而在技术层面上构建一套完整的数据技术架构体系。

●    主数据及数据仓库层:其中不仅包含了可供给部门间进行数据交换共享的主数据集,也包含了可供给大数据分析的过程性数据和非结构化日志数据。为学校的智慧校园建设提供了全面、标准化的基础数据源。

●    统一数据能力开放层:基于治理后的统一数据仓库成果,进一步构建了校级层面的数据资产开放体系,从而让学校智慧校园生态中的数据使用方都能够便捷地获取到数据开放共享服务,提升了数据对接的效率。

●    数据应用服务层:基于前期项目的建设成果,快速支撑了数据分析应用、智慧运维平台、教师个人数字档案等应用系统对于数据的获取需求,目前已提供了多类可复用的标准api接口,大大降低了数据的对接门槛和成本,缩短了项目周期。

建设内容

为了解决学校在智慧校园阶段面临的“数据标准不一致、数据质量较差、数据处理能力不足、数据共享困难”等问题,加快构筑与现代化教育相适应的信息化体系,确保学校教学、科研和社会服务三大功能的有效发挥,扬州大学于2018年11月正式启动了大数据平台的建设工作。在项目中以“数据全量集成治理”为核心、以完善的数据平台软件为依托,实现对于校内多源异构数据的统一采集、统一管理、统一利用。数据治理和大数据平台建设是一项庞大而又繁杂的系统工程,因此学校采用分期规划逐步迭代和完善所构想的智慧校园体系,下表是扬州大学大数据平台建设规划,目前学校已经根据规划内容逐步落地。

序号

项目名称

时间

建设内容

1

扬州大学大数据平台(一期)项目

2018年11月

以结构化数据共享和治理和部分需求较为急迫的半结构化/非结构化数据为重点,建立起一整套适用于数据治理和开放管控的统一平台体系,提供便捷易用的数据共享能力,并充分支撑学校的信息化建设。

2

扬州大学大数据平台(二期)项目

2019年12月

1、实现对于线下表格数据的统一收集和治理使用的方案,从而在技术层面上构建一套完整的数据技术架构体系。通过建设校级数据资源目录管理模块,梳理数据资源目录体系,对全校的数据资产进行统计归纳,

2、基于数据治理和大数据平台体系的建设成果,为学校教师群体提供可感知、愿意用的大数据分析服务,解决教师个人信息口径多、各系统间数据不一致的问题,通过数据聚合从不同视角呈现个人及其关联数据。建设后的个人数据中心将有能力承载学校未来的教学、管理所需要的数据支撑和信息化应用的个性化服务。


建设成效与价值

数据集成方面

帮助学校打通了38个核心业务系统数据孤岛问题,完成了多类日志数据的采集,明确了数据来源、统一了38个系统相关数据标准、完成了数据中心架构搭建、提升了数据质量、实现了数据资产可控共享、提升了数据管理监管能力、让数据价值得以初步体现。

数据治理方面

参照教育部2012高校数据标准,结合调研情况,制定了《扬州大学校级数据标准》,基于校级数据标准建设了全量数据仓库,然后从数据湖中把数据按照标准加载转换到数据仓库中,最终进入到数据仓库的数据表共计775张(包括164张标准代码表和190张标准数据表)、字段注释率90%以上。

数据管理方面

通过建设统一数据集成管道、数据治理工具、统一数据开放平台、数据智能门户系统等多个数据管理系统,实现了数据进、存、管、出全生命周期的技术管理体系,通帮助学校解决数据资产不清、流向不明、质量不高等多个问题,实现了数据资源面向各个不同角色,做到全校师生在数据资产管理各付其责。具体建成成果如下:

●  对于校领导:通过资源门户的总览界面可以直观的了解到数据资产现状,掌握数据提供排名情况、数据质量排名情况、数据标准遵循情况、数据问题处理情况等,既可以为校领导提供宏观层面的决策支撑,也可以让校领导根据数据使用需求自主完成excel电子表格数据的下载。

●  对于职能部门:通过数据资源门户的部门或主题界面可以让各个部门对每一张数据表的供需情况、流向情况和被使用情况,本部门需要的数据提供了在在线的申请界面,数据质量问题也可以直接溯源查看,不仅满足了部门对数据的知情权,还降低了各个部门使用数据的门槛。

●  对于广大师生:通过希嘉的数仓架构对学校“一网、一次、多端(pc端、移动端、自助端)”服务体系的支持,基本上解决了师生重复填报的问题。同时师生也可以通过数据门户直观的了解到与自身相关的所有数据到底分别由哪些部门产生,被用到了什么地方去,遇到数据质量问题在线上直接就可以发起处理申请。

●  对于信息化处:通过数据智能门户提升了信息化处对数据全生命周期和全流向的监管能力,对数据的变更及数据质量问题带来的影响也能够通过数据门户一目了然的知道,为学校提供了共享共建、共生共赢的信息化建设凯发k8注册登录的解决方案。

数据服务方面

在数据服务层面,以学校实际业务需求为导向萃取共性数据需求形成数据集市,按照部门职能、业务需求、分析需求三个方向实现了主题数据集的萃取工作,改变以视图方式共享数据方式,建设数据资产超市,使数据使用者高效获取数据资源的同时,大幅度降低数据开发的工作量,提升了数据管理部门的服务响应效率,当前共创建api近360个,支撑了近百个应用的正常运行,接口累计被调用590万次,有效支撑了学校的日常管理和教育教学工作。

数据应用方面

通过大数据应用的建设,能够有效的解决教师的日常管理与服务工作,从而解决用常规的信息化的方式或手段解决不了的痛点、难点和盲点的问题,进一步提高学生和教师管理与服务的质量。具体的建设场景包括智慧运维平台、教师个人数字档案、日志分析平台。


案例故事

1、校级数据资产清晰可见

扬州大学是数据治理过程中上线了希嘉数据智能门户平台,它更大的价值时让校领导、每一个部门、每一个师生个人、每一个软件开发团队,都能够了解、感受到数据资产的存在感,能够方便的申请和获取数据,能够更主动积极的参与到数据资源建设中来。数据治理工作本身比较专业,比较偏向底层,大家看不到,也就不会投入足够的关注。大家只关心各种流程、业务的运行结果,却很少关注到这些流程、报表背后所需要的各种数据才是最重要、最基础的支撑。从而实现数据建设的全校一盘棋。

2、快速支撑上层应用建设

截止项目验收,已有支撑多个业务应用顺利上线,包括学生大数据分析平台、自助打印、实验室考试系统、智慧学工、科探流程平台、校园三维地图、教师个人数字档案等数十个应用快速上线,并且业务系统的建设,全程实现线上化数据申请和审核操作,效率高、上线快。相比传统方式,数据的申请、审核效率大大提升,同时可以结合业务应用,自主定义主题数据集,加快业务应用的上线效率;平台提供多种数据申请方式,包括api、sql、etl、离线文件,满足多类型业务应用的数据使用需求。

3、多重手段保证核心数据质量闭环提升

虽然扬州大学数据的维度不少,但是能够直接拿来利用的高质量数据很少,数据的质量普遍偏低,无法有效支撑决策分析,为了保障数据的高质量,扬州大学利用数据治理手段,通过数仓当中的数据质量检测报告等手段确定数据的质量问题。同时实现数据流转,让数据用起来,通过希嘉教师个人数字档案实现数据与个人见面,当发现数据问题时,由个人发起数据纠错,实现数据人人使用,人人提升的策略,同时,利用数据质量检测机制,提供质量检测报告,由源头部门,结合数据质量检测成果,针对性实现数据质量提升,形成良性循环,提升数据质量。


部署产品清单

一期建设:2018-2019年度

建设内容

说明

数据治理平台

元数据、数据标准等管理;数据质量监测

数据能力开放平台

数据api接口开放;数据安全管理

数据治理服务

核心业务系统数据治理

日志分析平台

日志数据采集、存储、解析、计算

日志数据治理

防火墙、上网认证等日志数据治理

二期建设:2019-2020年度

建设内容

说明

数据治理平台

元数据、数据标准等管理;数据质量监测

数据能力开放平台

数据api接口开放;数据安全管理

数据治理服务

核心业务系统数据治理

日志分析平台

日志数据采集、存储、解析、计算

日志数据治理

防火墙、上网认证等日志数据治理