(三)基于數據架構構建行業架構復用能力
完整的IT架構是由應用架構、數據架構和技術架構共同構成的,數據架構作為應用架構和技術架構的承接層,能夠完整表達應用架構需求和支撐技術架構的實現。數據架構主要在數據的映射、訪問、分布和存儲等方面給出通用的參考架構。數據映射主要是完成數據在不同語言編碼下的轉換和關聯,通過制定統一的映射規則和代碼,實現數據在數據庫存儲、文件存儲、內存存儲、內外部接口和界面展示不同環節的有效橋接,從而實現數據的可跟蹤、可關聯。數據訪問主要是完成數據如何被訪問使用,通過技術封裝的方式,實現數據在內存和數據庫內的增、刪、改、查等操作。數據分布主要是完成數據對象及關系在各系統的CRUD狀態,結合業務流程、交換信息分析及各應用系統接口規范,規劃數據流向。數據存儲主要是完成數據持久化,實現數據可被存儲、復制和恢復。
銀行間市場信息系統的建設,離不開軟件工廠模式下的專業化分工和規模化生產,在此過程中架構的復用性是關鍵。通過使用基礎的IT技術,構建統一的模型、規范、標準和工具方法,為行業提供可復用的數據要素,是數據架構構建的核心。因此,我們在行業領域規劃的基礎上,以服務封裝的方式開發了諸如數據存儲構件(關系、分布式和NOSQL)、數據緩存構件、數據計算框架(實時、流式、批量和分布式)等一系列可復用的數據框架、構件、模板、工具等數據資產,構建了豐富數據架構資產庫。通過提供數據構件和IDE開發平臺的方式,實現系統化復用和規模化開發的能力,提升行業效率。同時,探索制定面向分布式和微服務架構下的松耦合的數據架構,支持行業IT架構轉型。
(四)圍繞“兩個生命周期”構建行業過程管控能力
數據過程管控包括數據定義和數據使用兩個過程。數據定義過程面向于信息系統開發階段,主要包括數據的“定義、使用、變更、流轉和退役”五個環節;數據使用過程面向于信息系統的運營階段,主要包括數據的“產生、加工、流轉、使用和歸檔”五個環節。
因此,數據的生命周期包含了數據定義生命周期和數據使用生命周期兩個部分。數據定義生命周期主要關注于數據在軟件開發過程中的需求、設計、開發、測試和支持各階段的狀態變化,通過變化不斷制定和修正數據定義,使得數據能夠更好地滿足業務和技術需要。數據使用生命周期主要關注與數據在運營階段的狀態變化,根據數據訪問頻度與數據量的變化會隨著時間的遷移而成反比例變化這個數據周期的基本原理,制定合理的數據在線、近線、離線和歸檔策略,實現數據的價值與數據存儲的技術和管理相匹配,降低數據存儲成本,減少數據容易,優化數據利用。
銀行間市場信息系統的開發和運營過程,是在數據兩個生命周期管理下的不斷優化和升級的過程。基于數據標準所建立起來的數據關聯網絡,支持了信息系統開發過程中對于數據定義變化過程所需的變更要求和過程控制。基于數據倉儲系統所建立起來的數據分層存儲,支持了信息系統運營過程中所需的時效要求和數據管理。隨著行業業務的不斷創新發展,作為承載和表達業務的數據也在不斷被重新定義,數據也在創新和變化中源源不斷地產生,變是永恒的主題,而基于兩個數據生命周期的管理實現了這種變化的可控性。
(五)基于數據質量管理構建行業數據評估能力
數據質量管理是指對數據生命周期每個階段可能引發的各類數據質量問題采取的一系列管理活動。通過不斷地修正和優化來改進數據質量,繼而來改進行業對數據的運用能力,并對行業自身的運轉和經營產生積極的影響。引發數據質量問題的因素很多,可主要歸結于技術、信息、流程和管理四個方面。
但如果回歸到數據本身的產生機制來看,數據質量的問題其實就是結構(Structure)和用戶(User)的問題。數據標準和主數據的定義管理,很大程度上解決了數據結構的問題,使得數據能夠在類型、編碼、格式上保持一致性和精準性。但用戶操作的問題,只能通過操作流程和技術校驗進行規約。因此,我們認為在行業標準化體系實施下,引發數據質量的問題還主要在于用戶操作方面。而這個問題是主觀的、隨性的,沒有強制的、通用的技術解決方案,只能通過完整的數據質量評估體系的建立來進行保障。
完整的數據質量評估體系的建立,能夠從宏觀治理層面和微觀數據層面來對數據進行全面的評估。通過評估結果,可以發現問題來源并找到其根本原因,并在數據治理層面制定通用的解決方案,使得數據治理的過程和方法不斷優化和完善,實現數據質量的良性循環。數據質量評估體系的評估標準包括準確性、完整性、一致性、可信性、時效性、易訪問性、依從性、保密性、效率性、精準性、可追溯性、易理解性、可用性、可移植性、易恢復性等15個方面。這15個方面的評估標準,完整地覆蓋了兩個數據生命周期的各個方面,是行業不斷評估和優化數據管理的基準性指標。
(六)基于大數據技術構建行業數據集成分析能力
區別于傳統的基于結構化和關系型數據存儲分析和挖掘技術,大數據技術的現實意義是從海量數據中獲得經驗,對事物的發展規律和趨勢做出精準判斷,“超大容量”和“超強計算能力”是大數據技術的基本特征。大數據技術是發現新風險、挖掘新規律、創造新價值的主要科技手段,它的興起為分析復雜的金融系統提供了全新的方法,其拓展了數據分析的抽樣方式和范圍,通過揭示相關關系來刻畫世界萬物之間的復雜聯系。此外,大數據關鍵作用之一是減少信息不對稱,發現市場主體的行為規律,甚至預測其經濟行為。大數據能夠從根本上解決傳統金融所面臨的信息不對稱,關聯關系不透明的問題。
交易中心作為銀行間市場的組織者,除為銀行間市場提供交易、信息等服務外,還承擔著市場監管的職能。經過20多年的快速發展,銀行間市場已經積累了大量的結構化和非結構化的數據,基于大數據技術構建行業數據集成分析能力,可實現行業數據的融合利用,不斷挖掘信息價值,推動產品創新。同時,基于大數據技術的監管科技不斷增強預見性、實時性、持續性和協同性風險管控能力,最終可有效提升行業監管的專業性、統一性和穿透性。
銀行間市場數據治理平臺
“治理(Governance)”一詞從國家治理、公司治理引入到數據治理,其核心概念是指“各種公共的或私人的個人和機構管理其共同事務的諸多方法的總和,是使相互沖突的或不同利益得以調和,并采取聯合行動的持續過程(聯合國全球治理委員會)”。從這個意義來說,數據治理是一個長期、復雜的系統工程,涉及到組織、制度、人員、培訓、管理等各個方面。數據治理過程是一個強管控的過程,數據治理工作的開展離不開組織的支持、制度的保障、人員的參與、體系化的培訓和精細化的管理。因此,建立一套長效的數據治理機制,是確保數據治理能夠真正實施落地的重要保障。
長效的數據治理機制離不開強制的管控,強制的管控并不是簡單的靠制度和規矩來進行約束,而是通過技術手段確保所有人遵從。銀行間市場數據治理實施的核心理念就是通過標準和流程的平臺化集成,來實現數據使用的流程化和自動化。數據平臺(CFETSData)是我們數據治理平臺化建設的最重要成果,銀行間市場信息系統數據設計開發的所有工作全部基于CFETSData來完成。
CFETSData的主要功能包括:標準管理、過程管控和集成開發。在標準管理上,CFETSData定義和管理了數據元、行業數據模型和數據交換服務。業務人員根據CFETSData來制定業務方案,根據數據元定義統一業務術語定義。需求分析人員基于CFETSData編寫需求規格說明書,制定界面展示、數據模型和數據接口需求。設計人員基于CFETSData編寫概要設計和詳細設計說明書,進行數據結構體、數據庫和數據腳本的設計。測試人員根據CFETSData設計測試用例和數據腳本。在過程管控上,CFETSData實現了數據定義、數據模型和數據腳本的工作流程,不同角色的人根據該平臺完成各自的定義、審核和審計任務,實現了過程的平臺化。在集成開發上,CFETSData提供了拖拽式的數據模型開發和接口開發的功能,開發人員只需要根據實體和屬性的中文名字選取自己所需的數據并完成面向應用的組裝并生成數據字典和消息結構體,實體和屬性的技術規格會統一生成并不可被篡改。同時,CFETSData還通過API接口的方式實現了與數據交換平臺、應用開發平臺和數據測試平臺的對接,實現了對接口代碼、程序結構體和測試腳本的規約。
數據治理工作展望
大數據技術起源于互聯網行業,目前最成功的應用也在互聯網行業,以“BAT”為代表的互聯網公司依靠其自身的經濟實力和技術基礎,依托自身擁有的巨量數據和現實的應用需求,已經發展出一些滿足各自需求的大數據解決方案。
金融行業有著良好的大數據基礎,但大數據應用還剛剛起步,如何推進大數據技術應用,喚醒這些沉睡的大數據資源實現深度價值發現和行業應用,關鍵還是要深入推進銀行間市場數據治理工作。針對未來的數據治理工作,我們規劃從三個方面考慮:
一是完善行業數據標準體系,助力基礎設施升級。為全面規劃和指導銀行間市場標準化工作,我們將在前期工作的基礎上,繼續完善銀行間市場標準體系的建立和應用,建立行業大數據治理相關標準、信息披露標準和數據質量評估標準,實現數據的有效整合、綜合利用,最大程度地發揮行業數據價值,規范大數據應用,消除由于標準缺失可能造成的技術發展瓶頸,助力行業基礎設施升級,更好地支持金融科技和監管科技的發展。
二是深化行業主數據體系建設,夯實行業基礎支撐。進一步深化行業主數據建設,統一行業數據格式和編碼,建立和完善面向整個行業共享復用的產品管理、機構管理和用戶管理的主數據庫,提供通用的數據訪問接口、交換平臺和協議規范,實現行業數據接口的互聯、互通。同時輔以可供復用和參考的框架、構件、模板、工具等構件資產庫,以強管控的方式指導和規范數據使用,從數據源頭確保數據生成的質量,實現行業關鍵業務數據的共享、共用。
三是建立行業大數據集成平臺,促進行業業務協同。通過行業結構化和非結構化數據標準建立,探索建立行業大數據集成平臺,通過數據的分層管理,實現數據的融合利用。構建面向大數據價值挖掘的大規模、有序化開放式的知識體系,通過大數據集、開發平臺和公用算法庫支撐行業大數據應用,為行業大數據發展提供基礎構件支撐。加強行業標準宣貫,提高行業參與人員的大數據應用能力,促進行業業務協同。
(本文第一作者系中國外匯交易中心副總裁;第二作者系中匯信息技術有限公司總經理助理)