智慧校園數(shù)據(jù)集成共享平臺探討

時間:2022-08-17 08:50:24

導(dǎo)語:智慧校園數(shù)據(jù)集成共享平臺探討一文來源于網(wǎng)友上傳,不代表本站觀點,若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。

智慧校園數(shù)據(jù)集成共享平臺探討

摘要:為了解決高校各業(yè)務(wù)系統(tǒng)在信息化建設(shè)過程中,由于建設(shè)時間和空間上的差異,出現(xiàn)的“信息孤島”現(xiàn)象和數(shù)據(jù)離散、異構(gòu)等問題,提出一種基于ODI的智慧校園數(shù)據(jù)集成共享平臺。平臺通過利用Oracle的ETL工具ODI,對各業(yè)務(wù)系統(tǒng)數(shù)據(jù)進行集成,并將集成后的數(shù)據(jù)共享給統(tǒng)一身份認(rèn)證平臺以及網(wǎng)上辦事大廳和校園移動App中的各種應(yīng)用與服務(wù)。通過平臺的構(gòu)建和應(yīng)用表明,業(yè)務(wù)系統(tǒng)的主要數(shù)據(jù)得到了治理和標(biāo)準(zhǔn)化,數(shù)據(jù)的交換和共享率也得到了很多大提升。

關(guān)鍵詞:智慧校園;數(shù)據(jù)集成;數(shù)據(jù)共享;統(tǒng)一身份認(rèn)證;網(wǎng)上辦事大廳;ODI

1背景

高校信息化建設(shè)隨著云計算、物聯(lián)網(wǎng)、大數(shù)據(jù)、智能感知等新興信息技術(shù)的不斷發(fā)展已經(jīng)步入智慧校園建設(shè)階段,而高校在信息化發(fā)展的過程中,由于缺乏有效合理的規(guī)劃和協(xié)調(diào),各業(yè)務(wù)部門根據(jù)自己的需求建設(shè)了眾多業(yè)務(wù)系統(tǒng),出現(xiàn)了“信息孤島”現(xiàn)象,形成了數(shù)據(jù)類型和數(shù)據(jù)訪問方式多樣,數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一等問題,并且隨著時間的發(fā)展累積了大量的業(yè)務(wù)和數(shù)據(jù)資源,冗余數(shù)據(jù)和垃圾數(shù)據(jù)都普遍存在于業(yè)務(wù)系統(tǒng)中[1-4]。這些問題嚴(yán)重阻礙了智慧校園建設(shè)的進程,導(dǎo)致在數(shù)據(jù)層面,數(shù)據(jù)私有化,數(shù)據(jù)流動性不強,數(shù)據(jù)質(zhì)量不高,各業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)無法交換、共享,無法發(fā)揮大數(shù)據(jù)的作用;業(yè)務(wù)層面,校內(nèi)業(yè)務(wù)系統(tǒng)相互隔離,各應(yīng)用之間的融合度不高[4-5],師生辦理業(yè)務(wù)跑路多、不方便。為了解決上述問題,數(shù)據(jù)的集成和共享勢在必行,數(shù)據(jù)集成是把不同來源、格式、特點、性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機地集中,從而為用戶提供全面的數(shù)據(jù)共享,數(shù)據(jù)只有通過共享,才能保證數(shù)據(jù)的一致,減少冗余,提高利用率[6],實現(xiàn)數(shù)據(jù)的流動和業(yè)務(wù)的融合。本文提出一種基于ODI(OracleDataInte⁃grator)的智慧校園數(shù)據(jù)集成共享平臺,利用Oracle的ETL(Ex⁃tract-Transform-Load)工具ODI對各業(yè)務(wù)系統(tǒng)產(chǎn)生的源數(shù)據(jù)進行抽取、清洗和轉(zhuǎn)換后,將數(shù)據(jù)共享給統(tǒng)一身份認(rèn)證平臺以及網(wǎng)上辦事大廳和校園移動App中的各業(yè)務(wù)系統(tǒng)、表單流程和服務(wù),實現(xiàn)數(shù)據(jù)的交換、共享和流動;師生通過統(tǒng)一身份認(rèn)證訪問網(wǎng)上辦事大廳和校園移動App中的各種業(yè)務(wù)和服務(wù),實現(xiàn)單點登錄和業(yè)務(wù)的融合。

2智慧校園數(shù)據(jù)集成共享平臺架構(gòu)

針對智慧校園建設(shè)充分整合信息資源和應(yīng)用資源的需求,本文提出的智慧校園數(shù)據(jù)集成共享平臺主要包括數(shù)據(jù)源層、數(shù)據(jù)處理層、數(shù)據(jù)存儲與管理層和數(shù)據(jù)應(yīng)用與服務(wù)層,如圖1所示。數(shù)據(jù)源層,主要是作為數(shù)據(jù)源的各業(yè)務(wù)系統(tǒng)的數(shù)據(jù),包括結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù),利用ETL工具抽取到數(shù)據(jù)處理層。數(shù)據(jù)處理層根據(jù)國家規(guī)范標(biāo)準(zhǔn)和學(xué)校標(biāo)準(zhǔn),對抽取過來的源數(shù)據(jù)進行清洗和轉(zhuǎn)換后,存儲到數(shù)據(jù)中心。數(shù)據(jù)存儲與管理層主要是對數(shù)據(jù)的存儲和管理。其中,元數(shù)據(jù)管理的目的是在建立元數(shù)據(jù)標(biāo)準(zhǔn)的基礎(chǔ)上,統(tǒng)一進行數(shù)據(jù)抽取、清洗和轉(zhuǎn)換,以實現(xiàn)對各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的整合[3]。主數(shù)據(jù)是全校范圍統(tǒng)一標(biāo)準(zhǔn)和規(guī)范的數(shù)據(jù),以解決異構(gòu)系統(tǒng)之間關(guān)鍵數(shù)據(jù)的不一致、不正確、不完整等問題。數(shù)據(jù)中心則以數(shù)據(jù)庫的形式存儲集成后的數(shù)據(jù),主要用于各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)共享、綜合查詢以及數(shù)據(jù)分析與挖掘等。數(shù)據(jù)應(yīng)用與服務(wù)層是應(yīng)用和服務(wù)集中展示層,網(wǎng)上辦事大廳和校園移動App將各種應(yīng)用、工作流流程、綜合化查詢、表單制作和服務(wù)集成到同一平臺,并作為進入應(yīng)用和服務(wù)的唯一門戶。師生通過統(tǒng)一身份認(rèn)證平臺對身份的合法認(rèn)證之后進入網(wǎng)上辦事大廳和校園移動App,便可在該平臺根據(jù)角色的不同快速找到符合角色的服務(wù)。

3基于ODI的數(shù)據(jù)集成和共享

智慧校園數(shù)據(jù)集成共享平臺首要面臨異構(gòu)數(shù)據(jù)的集成問題,平臺選用Oracle的ETL工具ODI,目前已經(jīng)有很多高校在智慧校園建設(shè)過程中采用ODI作為數(shù)據(jù)集成的工具。ODI是基于元數(shù)據(jù)管理的,支持異構(gòu)數(shù)據(jù)庫之間以批量、實時、同步、異步方式實現(xiàn)平臺間數(shù)據(jù)的移動和轉(zhuǎn)換[2],ODI之所以能適應(yīng)很多不同的數(shù)據(jù)源,靈活、高效和可擴展的完成數(shù)據(jù)抽取、轉(zhuǎn)換和裝載過程,是基于其知識模塊(KM,KnowledgeMudules)體系[7],用戶不僅可以直接使用現(xiàn)有的知識模塊完成數(shù)據(jù)的獲取工作,也可以在知識模塊上做各種定制,也可以完全自己開發(fā)這些知識模塊。ODI知識模塊包括六大類,如表1所示。學(xué)校各業(yè)務(wù)系統(tǒng)以虛擬視圖的方式提供數(shù)據(jù),提供的是經(jīng)過篩選的虛擬視圖,是主數(shù)據(jù)平臺需要的數(shù)據(jù)字段集合。ODI利用知識模塊抽取篩選出來字段所對應(yīng)的全部數(shù)據(jù),并對這些數(shù)據(jù)按照事先設(shè)定好的數(shù)據(jù)清洗與轉(zhuǎn)換規(guī)則對抽取的數(shù)據(jù)進行清洗和轉(zhuǎn)換[8]。數(shù)據(jù)清洗是個反復(fù)的過程,是對數(shù)據(jù)進行審查和校驗,過濾不合規(guī)數(shù)據(jù)、刪除重復(fù)數(shù)據(jù)、糾正錯誤數(shù)據(jù)、完成格式轉(zhuǎn)換,并進行清洗前后的數(shù)據(jù)一致性檢查,保證清洗結(jié)果集的質(zhì)量,最終形成統(tǒng)一格式的標(biāo)準(zhǔn)數(shù)據(jù),存儲到數(shù)據(jù)中心,完成數(shù)據(jù)的集成。數(shù)據(jù)中心再以中間表的形式將業(yè)務(wù)系統(tǒng)需要的數(shù)據(jù)下發(fā)至中間表,各業(yè)務(wù)系統(tǒng)通過接口對中間表進行數(shù)據(jù)的讀取,完成數(shù)據(jù)的共享。在數(shù)據(jù)集成與共享過程中,業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫并沒有與數(shù)據(jù)中心發(fā)生直接的數(shù)據(jù)交互,從而保護了底層源數(shù)據(jù),使整個數(shù)據(jù)集成共享平臺處于低耦合、易擴展、易維護的狀態(tài)[2,7,9]。數(shù)據(jù)集成和共享數(shù)據(jù)流向圖,如圖2所示。

4智慧校園數(shù)據(jù)集成共享平臺實現(xiàn)

4.1云計算與虛擬化

云計算和虛擬化是智慧校園建設(shè)過程中的關(guān)鍵技術(shù),云計算平臺是一種動態(tài)擴展的計算模式,通過網(wǎng)絡(luò)將虛擬化的資源作為服務(wù)提供,用戶可以隨時、隨地、按需的訪問共享資源池[10],而虛擬化技術(shù)是將云計算平臺的基礎(chǔ)設(shè)施和各類物理資源(如CPU、內(nèi)存、網(wǎng)絡(luò)等)動態(tài)地匯聚起來,形成多租戶共享的資源池,這些資源以網(wǎng)絡(luò)服務(wù)的方式按需提供給用戶[11]。數(shù)據(jù)集成共享平臺的ODI服務(wù)器和主數(shù)據(jù)管理平臺,以虛擬化的方式部署在云計算平臺上,由云計算平臺集中管理,實現(xiàn)系統(tǒng)的動態(tài)可伸縮性、高可用性、負(fù)載均衡,并提高資源的利用率,配置信息如表2所示。

4.2數(shù)據(jù)存儲

數(shù)據(jù)中心存儲全校統(tǒng)一規(guī)范的標(biāo)準(zhǔn)數(shù)據(jù),又是各業(yè)務(wù)系統(tǒng)和服務(wù)需要的基礎(chǔ)數(shù)據(jù)和主題數(shù)據(jù)的來源,具有重要的現(xiàn)實意義,所以采用物理服務(wù)器+OracleRAC(OracleRealApplicationCluster)集群數(shù)據(jù)庫+共享存儲的方案,在兩臺物理服務(wù)器上分別安裝Oraclelinux6.9和Oracle12cRAC,并掛載共享存儲,獨立的物理服務(wù)器在數(shù)據(jù)安全性方面具有明顯優(yōu)勢,數(shù)據(jù)丟失風(fēng)險較小,并將數(shù)據(jù)備份放置在兩臺物理服務(wù)器上,實現(xiàn)雙機熱備。集群根據(jù)設(shè)定的調(diào)整策略,實現(xiàn)負(fù)載均衡,兩個集群節(jié)點都能夠訪問共享存儲讀寫數(shù)據(jù),當(dāng)集群中某個節(jié)點出現(xiàn)故障,業(yè)務(wù)自動切換到正常節(jié)點上,保證業(yè)務(wù)對外服務(wù)不間斷,也可以根據(jù)業(yè)務(wù)繁忙程度,隨時添加和刪除集群節(jié)點。

4.3平臺應(yīng)用

基于ODI的智慧校園數(shù)據(jù)集成共享平臺已經(jīng)上線將近兩年的時間,主要業(yè)務(wù)系統(tǒng)數(shù)據(jù)得到了治理和標(biāo)準(zhǔn)化,數(shù)據(jù)質(zhì)量得到了很大的提升,具體集成情況如圖3和表3所示。集成后形成基礎(chǔ)數(shù)據(jù)和主題業(yè)務(wù)數(shù)據(jù),通過網(wǎng)上辦事大廳和校園移動App中90多個業(yè)務(wù)和服務(wù)的應(yīng)用,得到了有效的交流和共享,圖4顯示了網(wǎng)上辦事大廳和移動App中集成的所有業(yè)務(wù)數(shù)量。師生基礎(chǔ)數(shù)據(jù)與統(tǒng)一身份認(rèn)證平臺,以及接入網(wǎng)上辦事大廳和校園移動App中的各業(yè)務(wù)系統(tǒng)的對接,解決了“信息孤島”現(xiàn)象,并實現(xiàn)了用戶的單點登錄,用戶通過統(tǒng)一身份認(rèn)證之后,無需再次登錄就可以進入已接入的第三方系統(tǒng)。師生在網(wǎng)上辦事大廳和校園移動App中可以查詢各種相關(guān)主題化數(shù)據(jù),比如學(xué)生成績、課表、繳費數(shù)據(jù)、科研數(shù)據(jù)等等。師生在線上填寫各種業(yè)務(wù)相關(guān)表單流程,無需往返多個部門線下辦理,線上全程跟蹤業(yè)務(wù)辦理進度,線上提醒和催辦相關(guān)人員盡快辦理業(yè)務(wù),電腦端和移動端均可操作、辦理,給全校師生工作、學(xué)習(xí)、生活提供來了極大的便利,同時整合了校內(nèi)事務(wù)、簡化、優(yōu)化了事務(wù)審批流程。

5結(jié)束語

本文提出的基于ODI的智慧校園數(shù)據(jù)集成共享平臺,通過實踐已初見成效,主要數(shù)據(jù)集成后進行了有效交換、共享,業(yè)務(wù)實現(xiàn)了一定程度的融合,同時與統(tǒng)一身份認(rèn)證平臺相結(jié)合,在網(wǎng)上辦事大廳為全校師生提供了各種智慧服務(wù)。但是智慧校園建設(shè)是一項長期復(fù)雜的工程,智慧校園的“智慧”要更加深入的實現(xiàn),數(shù)據(jù)的持續(xù)治理、數(shù)據(jù)質(zhì)量進一步的提升、集成更加豐富的數(shù)據(jù)以及挖掘更多的數(shù)據(jù)價值,都將是未來數(shù)據(jù)集成共享平臺持續(xù)建設(shè)的核心任務(wù)。

參考文獻:

[1]劉寶妹,陳美玲,白興瑞.智慧校園共享數(shù)據(jù)中心建設(shè)研究[J].中國教育信息化,2020(7):70-73.

[2]蒲芳,劉琳瑯,徐萍,等.數(shù)字化校園中一卡通數(shù)據(jù)集成的研究與應(yīng)用[J].華中師范大學(xué)學(xué)報(自然科學(xué)版),2017,51(S1):13-16,20.

[3]吳信東,董丙冰,堵新政,等.數(shù)據(jù)治理技術(shù)[J].軟件學(xué)報,2019,30(9):2830-2856.

[4]張穎.大數(shù)據(jù)背景下高?!耙徽臼健狈?wù)模型的探索和實踐[J].計算機應(yīng)用與軟件,2019,36(7):128-132.

[5]冀翠萍.智慧校園業(yè)務(wù)應(yīng)用融合的探索與實踐[J].現(xiàn)代教育技術(shù),2018,28(1):66-72.

[6]仇建斌.智慧校園數(shù)據(jù)管理交換平臺研究與建設(shè)[J].計算機時代,2019(4):107-110.

作者:徐小梅 單位:蘭州交通大學(xué) 網(wǎng)絡(luò)信息中心