系統建設目標 建設背景 監管背景

2016年12月30日頒布的《證券公司全面風險管理規范》要求當中，首次提出“證券公司應當建立健全數據治理和質量控制機制。積累真實、準確、完整的內部和外部數據，用于風險識別、計量、評估、監測和報告”。“證券公司應將數據治理納入公司整體信息技術建設戰略規劃，制定數據標準，涵蓋數據源管理、數據庫建設、數據質量監測等環節。”

業務背景

中國金融行業發展迅速，隨著互聯網，軟件等行業的推陳出新，全球信息化的進程也日益加快。證券公司在金融市場上發揮著日益重要的作用，也面臨著市場、信用、操作、流動性各類風險的嚴峻挑戰，證券公司應對這些風險的能力直接影響著金融市場和金融秩序的穩定性。與此同時，數據已經成為證券公司參與競爭的重要武器。

證券公司長期積累了大量的內部及外部數據，這些數據除了支持證券公司的自營、資管等各項核心業務，加快金融產品和服務創新，還越來越多的用于風險控制、決策分析、績效考核等管理領域。如果數據錯誤、遺漏、缺乏統一標準、共享與整合程度不足，將導致問題數據如雪球般越滾越大，導致相關領域業務無法正常開展或者違反相關監管要求，導致決策出現偏差公司面臨嚴重的風險。因此，建設數據中心，提高數據治理水平是提升證券公司核心競爭力的關鍵。通過數據中心系統的建設、數據治理過程的推進，證券公司可以提高其數據質量，形成數據資產，進而提高經營管理水平和風險管理能力。

技術背景

面對證券業協會對數據治理的監管要求和機構自身對加強風險控制、提升運營能力及關鍵業務的能力的需要。證券公司在數據治理工作上也面臨著挑戰：內外部數據呈爆炸式增長、新產品的出現、競爭環境和流程日益復雜、上級監管越來越細致。

數據治理除了構建專門的數據治理組織架構和工作流程之外，同時也需要有一個更加完善的信息技術系統規劃戰略。國內券商在IT系統建設過程當中，由于各種原因，雖然IT化程度相對較高，但是各種數據都存在各自的業務系統對應的IT系統當中獨立存在，同時各個應用系統由不同的開發商開發實施，采用的數據庫、技術路線都不一樣，并不存在統一的數據標準和數據模型，孤島化存在的數據為后續的數據分析、數據挖掘、風險管理帶來了重重困難。

隨著各個業務系統之間協同工作和數據交互越來越多并且越來越復雜，這樣就造成了各個應用系統間數據關系形成了一張錯綜復雜的數據關系網，給系統的運行維護以及后續的系統建設和集成帶來了不小的困難。點對點的數據交互模式也給核心系統帶來了巨大的壓力。

為了解決上述問題，有必要建設一個向下可以彈性兼容各個不同的數據源，向上可以為各應用系統提供數據支持的數據中心。數據中心的建立不但可以規范企業數據，減少數據冗余，減輕核心交易系統壓力，增強系統的易維護性，提高系統的可擴展性，而且以數據中心為基礎和載體進行數據治理工作可以達到事半功倍的效果。

系統現狀 數據存儲未整合，不利于充分利用

證券公司在運營過程中生成了大量的數據，這些數據包括交易、清算、營銷、財務、資訊、人力資源、資產管理、自營等企業數據，雖然這些數據部分已經同步到同一服務器，但數據未進行有效整合，各系統依舊孤立。企業決策人員、統計分析人員、業務人員很難根據自己的意愿，及時地、靈活而多角度地查詢和分析數據，也不能充分利用、發掘現有數據，實現更大的效益。

數據標準不統一，不利于價值發現

證券公司現有系統之間數據的結構和標準都不統一，如果借助傳統的方法進行數據分析，不但繁瑣復雜，而且無法滿足對業務變化的快速反應，更不能站在整個企業的角度了解企業整體情況并發現數據之間的聯系做出進一步的分析和預測。

數據交換不統一，不利于質量控制

目前各個系統之間的數據交換都采用各自的采集程序，沒用統一的監控、跟蹤和核對機制，很難保證數據的完整性，也不利于問題的發現和定位。

服務交換不統一，不利于服務共享

各系統間存在功能冗余且口徑不一等問題，缺少統一的服務交換平臺，無法實現交易系統、呼叫中心、營銷管理、投顧系統、CRM等各系統的服務充分共享。

外部數據未接入，不利于全面分析

證券金融市場有很多的外部數據，比如征信數據、互聯網輿情數據、競爭公司數據等，這些數據現在都沒有接入到證券公司的IT系統中，造成很多數據分析工作不夠全面，不利于業務的全面展開。

系統目標定位 搭建數據倉庫，作為數據治理工作的基礎和載體

完成公司級的數據倉庫搭建工作，成為公司級數據治理工作的載體。在數據倉庫中進行元數據管理、數據質量管理、數據標準定義、數據口徑統一管理等數據治理管控工作。

整合各個應用系統數據，提供標準的數據接口

完成源系統調研，整合各個應用系統數據，提供標準的數據接口，形成公司唯一的、標準化的數據源，提供標準和靈活的數據交換接口，支撐各個業務系統的數據訪問，實現數據資源的共享。

優化數據交換和IT應用系統架構

建立公司的數據基礎平臺，完成公司要求的數據輸入輸出，將網狀的數據關系優化為星狀。實現ETL過程和數據質量的自動化管理，對ETL過程和數據質量進行全面的監控和管理維護。

建立適用于證券公司各類業務的完整指標體系

建立適合公司實際業務運行情況的指標體系，提供現有的指標庫體系供參考，涵蓋公共指標、風控指標、財務指標、集團聯動指標、營業部/分公司等經營機構分類評價指標、自營/資管等各業務條線指標等。建立符合公司實際情況的企業級數據倉庫技術架構和數據模型，為各類統計報表、領導者駕駛艙和數據分析挖掘提供數據支持。

完成前臺應用建設，為證券公司各業務部門提供數據支持

根據證券公司各業務部門的實際業務需求完成領導者駕駛艙的開發、數據分析和數據挖掘開發、分析報表開發以及交互式報表等前臺應用開發。

證券公司數據中心的總體建設目標是建立基礎數據模型、ETL調度平臺、數據中心指標體系、數據質量管理平臺、數據接口服務、領導者駕駛艙等，形成統一數據標準、確保數據采集完整、保證ETL數據質量、形成統一的數據展現。具體目標為：

建立符合證券公司實際需求的數據中心技術架構。 提供符合監管要求和證券公司業務需求的數據治理體系架構。 建立符合證券公司實際需求的企業級數據模型。 建立方便內部管理、幫助數據理解、增加分析敏捷性的公司級的覆蓋技術元數據和業務元數據的元數據管控體系。 完成數據標準化工作，形成公司唯一的、標準化數據源，支撐各項業務管理系統的數據訪問。 支撐公司各項業務數據的統一采集、統一存儲、統一訪問管理等功能。 使用專業成熟的ETL工具，進行對不同種類數據的抽取、轉換、加載等各項部署、實施，并能對啟動條件、依賴關系、狀態及錯誤日志統一管理。同時ETL工具和調度平臺能夠支持和大數據平臺進行數據交互。 實現ETL全流程調度自動化管理，對ETL 過程進行全面監控和管理維護。 實現ETL過程中的數據質量管理工作，靈活通過校驗方式和校驗規則的搭配，保證數據中心數據質量。 建立全面和標準的數據中心指標體系，統一管理證券公司各類業務口徑，全面的反映證券公司各項業務的原子指標。 提供標準和靈活的數據接口，保證現有系統的數據源平滑過渡到數據中心，支持公司擬建和未來需建的各類系統。 按需要提供各類數據的匯總，滿足數據報表和不同主題數據集市的需要。 通過對基礎數據模型的分析，形成數據集市，并展現公司級別的經營狀況。 建設原則

本項目是xx邁入大數據管理的第一步，旨在利用大數據技術搭建數據中心，對當前業務系統的數據進行采集集中、組織規劃，從而為后續的業務開展和公司管理提供數據支持。本項目在建設過程中，要遵循如下原則：

自主創新的原則

在項目的規劃和設計過程中，將從xx的業務系統現狀和業務發展出發，同時考慮到證券公司后續業務發展的需要。在具體建設過程中，不完全使用已有第三方軟件供應商提供的數據中心產品。整個系統的設計和搭建將自主創新，完成整個系統的搭建。

合作開發的原則

數據中心項目是一個開發項目，不是一個通過產品安裝就能夠完成的。xx信息技術部將全程參與系統的設計和開發工作。

逐步推進的原則

利用大數據技術和數據倉庫理論建設數據中心項目，這樣的過程是要經歷過一定的時間階段的。為此，在每一期建設過程中，我們將明確目標，實現數據中心建設的完整框架，后續的建設將逐步推進。

數據中心建設項目的進行過程中，xx信息技術部參與整個項目進度的控制和項目管理過程中的每個細節。供應商參與開發人員要完全受信息技術部的項目管理要求，并遵循信息技術部的相關規范。

標準性原則

在項目的各個階段，尤其是設計階段，要從整個公司級別考慮問題，制定的相應業務規則和數據字典要能夠作為公司級的數據標準。

術語定義

ETL

--Loading，數據抽取、轉換和加載

DDL

Data Define Lanuage，數據定義語言，即數據庫的各種建庫，建表語句。

ODS

Data Store，操作性數據存儲，是一個面向主題的、集成的、可變的、當前的細節數據集合，用于支持企業對于即時性的、操作性的、集成的全體信息的需求。常常被作為數據倉庫的過渡

EDW

Data ，企業級數據倉庫，是一個面向主題的（Subject ）、集成的（）、相對穩定的（Non-）、反映歷史變化（Time Variant）的數據集合，用于支持管理決策( Making Support)。

CDM

概念數據模型（CDM），用于表示數據的邏輯特性，即只是在概念上表示數據庫中將存儲什么信息，而忽略這些信息的實現細節。同時，它也是對系統主要實體的高層次業務見解，比如識別關鍵主體領域、定義核心實體的主鍵。

LDM

邏輯數據模型（LDM），即實體關系模型，是一種描述數據的模型。它利用實體和它們之間的關系描述包含在顯示世界中的數據。這是一個比較詳細的數據業務見解，比如細化實體間關系，詳細的屬性定義（主外鍵、索引等主要屬性），添加了關聯的、特色的以及子類的實體，盡可能詳細化的范式（遵循第三范式），實體間的約束關系等。

元數據（），指的是關于數據的數據，即對數據的描述。元數據描述了數據的結構、內容等多項內容，提供了對數據對象的描述、定位、管理、檢索、評估、選擇和交互等功能。元數據是數據對象的信息地圖，通過元數據管理，能夠準確勾勒出證券公司數據資產的整體視圖，支持科學制定信息數據管理政策，通過元數據管理，也能夠建立統一的數據表達形式、元數據標準，使數據可視化，方便數據的靈活交互和擴展。

HADOOP

Apache Hadoop是一個開源軟件庫，支持超大數據的分布式處理，此類數據集分布在數千臺使用普通硬件的計算機中。Apache Hadoop項目由Hadoop分布式文件系統、和Hadoop Common等子項目組成。此外，還包括HBase、Hive、Pig以及其他相關技術。Hadoop非常適合處理大體量的靜態數據。

系統技術設計 系統技術架構 系統總體框架 系統邏輯架構

無論承載數據中心的基礎數據庫是ORACLE之類的關系型數據庫還是Hadoop之類的大數據平臺。從數據倉庫的理論出發，我們可以將數據中心以及和數據中心相關的系統從邏輯上進行劃分。大致可以分為源業務系統、數據基礎平臺、數據服務平臺、智能分析平臺、數據管控平臺、業務展現平臺這幾部分。

源業務系統：數據中心數據的來源，證券公司內部各類生產系統或者互聯網數據。數據中心對接各個源業務系統進行ETL工作，將證券公司內部的數據以及互聯網上獲取到的外部數據集中到數據中心，進行數據標準化和數據建模工作。

數據基礎平臺：負責數據中心數據標準化、模型化、持久存儲工作。從技術上分為數據存儲和數據計算兩大功能；從數據類型分為結構化和非結構化兩類數據平臺；從數據中心數據存儲的層次分為原始層、ODS層、EDW層、數據集市層四類層級。

數據服務平臺：負責數據中心所有對外數據接口的管理工作，通過數據服務平臺實現數據中心和下游應用分析系統的數據對接工作。數據服務形式一般有被動采集和主動推送兩種模式。

智能分析平臺：負責將數據中心的數據和指標進行智能分析，快速形成各類報表和圖表應用以及進行數據挖掘的工作。智能分析平臺通常會內嵌商業智能分析和數據挖掘軟件比如Cognos、mstr、FineBI、SPSS等。

數據管控平臺：負責數據中心任務調度、數據質量管理、元數據管理、數據接口管理、數據權限管理以及運維監控功能的管理平臺。負擔整個數據中心體系中數據的管理、控制、校驗、監控、分發工作，通常情況下會將業務展現平臺集成到數據管控平臺中，進行統一集成化管理。

業務展現平臺：負責將數據中心的產出物包括報表、圖表、駕駛艙、數據標簽、數據分析和挖掘的結果進行有機集合，形成針對業務人員使用的前端展現工具，通常會集成到數據管控平臺中。

系統技術架構

xx數據中心項目的數據存儲和計算服務已經采用cdh版的Hadoop大數據平臺。因此數據中心技術架構基于Hadoop大數據平臺進行設計。

數據存儲采用hdfs集群模式，這種數據存儲模式具有超大文件處理能力、流式數據訪問能力、橫向擴展能力、廉價的服務器需求等優點。

數據計算采用Hadoop原生的計算、SPARK引擎計算、HIVE類 SQL 查詢語言相結合的模式來保證應對數據中心業務處理中的各類計算場景。

數據應用可以細分為數據中心自身的數據分析和對接下游系統的數據服務兩類。在數據應用方案的設計上采用關系型數據庫接口和大數據平臺數據接口相結合的方式。這種數據應用模式的優缺點如下：

優點：充分考慮到數據對接類型的全覆蓋，以避免數據分析軟件或者下游系統無法對接Hadoop數據接口的風險。 缺點：增加了數據中心的ETL工作量，同時由于多了一層關系型數據庫和大數據平臺的數據交互需要額外增加數據質量控制機制來保證數據應用的數據質量。

根據目前現狀，在充分考慮公司未來 3-5 年的業務發展需要，總體達到性能指標如下：

系統性能指標列表

指標項

指標值

前端展現在線用戶數

不小于3000

并發用戶數

不小于300

客戶歷史數據保留期限

長期保留

日、周報表數據生成時間

小于1小時

月度報表數據生成時間

小于2小時

實時數據ETL處理時間

小于1分鐘

日終數據ETL處理時間

小于2小時

數據整合時間

小于2小時

一般查詢響應時間

小于3秒

查詢時間超過3秒的功能占比

小于5%

在數據抽取清洗（ETL）的每一個環節出現錯誤時都應有相應的出錯處理、恢復流程，錯誤處理應盡量通過系統自動恢復實現，需要通過人工干預處理的，出現錯誤后應能通過各種途徑通知維護人員。常見出錯處理方式：

錯誤類型

錯誤內容

處理方式

系統異常

數據庫連接失敗

自動處理，重連

數據庫空間不足

自動提醒，手動擴展空間

程序異常退出，如機器掉電，強制結束進程

手動處理，重啟程序，系統自動保證事務一致性

應用異常

主鍵沖突

自動手動結合，系統分析導致主鍵重復的數據，由相關人員手動排除錯誤。

數據類型轉換失敗

手動處理，手動排除錯誤。

字符串轉換越界

自動處理，自動截斷字符串，并記錄日志，作提示，供相關人員參考。

數據庫死鎖

自動重試，重試后錯誤依然存在的，記錄錯誤信息，手動處理。

由于柜臺數據結構變動引起的數據轉換不完整

手動處理，修改轉換過程。

數據核對有差異

手動處理，檢查數據差異。

數據采集工具在處理的每一個環節都有完善的出錯處理，可以根據客戶的需求，設定出錯的的處理原則，例如放入臨時表，導出出錯文件，或者是發EMAIL或者是短信網關通知相關的人員。

系統的安全性表現在對系統網絡、數據傳輸、數據存儲、業務功能展現全過程的安全控制與管理方面。數據的傳送的安全性，通過技術平臺的數據安全機制，如自定義動態加密算法、校驗算法、用戶認證證書等，可有效地保證數據從客戶端的接收至服務端的處理全過程的安全。而從業務部分來說，系統通過對登陸用戶采用統一的用戶認證服務器進行身份的合法性驗證，通過對操作員操作身份認證與操作權限的嚴格限制，確保了業務處理在身份認證與權限上的安全控制。

網絡安全性

網絡安全技術主要解決諸如如何有效進行介入控制，以及何如保證數據傳輸的安全性的技術手段，主要包括物理安全分析技術，網絡結構安全分析技術，系統安全分析技術，管理安全分析技術，及其它的安全服務和安全機制策略。本項目可以綜合利用虛擬網技術、防火墻技術、病毒防護技術、入侵檢測技術、安全掃描技術、認證和數字簽名技術、VPN技術、應用系統的安全技術等多種技術相結合的方式來保證網絡的安全性。

數據安全性 數據存放

數據庫的安全性是指保護數據庫以防止不合法的使用所造成的數據泄露、更改或破壞。所有核心數據存放在數據庫中。具體安全措施包括：防止非授權的數據庫存取；防止非授權的對模式對象的存取；控制磁盤使用；控制系統資源使用；審計用戶動作。

數據訪問

數據抽取服務器對數據源的數據只有讀取權限，無其余任何查詢、修改、刪除數據權限。數據接口服務模塊對數據中心的數據只有讀取權限，不具有修改和刪除的權限。

操作安全性 錯誤提示

系統對錯誤都有明確的錯誤信息提示，從而大大加快了問題的解決，保證系統穩定安全的運行。

操作人性化

系統的界面設計針對用戶做了非常細致的考慮，盡量做到系統運行無人值守，系統運行發現問題能夠盡快提示給相關人員。提示友好而準確。

配置管理

系統有詳細的配置清單。

容錯機制

系統在實時數據抽取，日終文件傳輸，日終文件導入和清洗流程均有相應的容錯機制。

WEB安全性 證書安全

系統WEB中間件支持加載證書，支持HTTPS協議。

用戶口令保護

系統所有應用都受用戶口令保護，只有通過用戶口令校驗之后才能訪問，每個請求在遞交給應用服務器前，都首先判斷是否已通過用戶認證。

權限控制

業務展現平臺、數據管控平臺的權限控制基于角色與組織架構來控制。結合BI系統可以將權限控制對應的字段。相關授權與重要功能的讀寫留痕，并有專門功能提供查詢。

系統具有完善的容錯功能，數據庫服務器、網絡設備、存儲設備及相關系統和軟件均有冗余設計。系統所有應用服務器提供冷備份措施，當其中一個應用服務器出現故障時快速接管。

數據基礎平臺

本次系統建設的關鍵是首先要建設一個公司級的數據中心，抽取現有各交易系統、賬戶系統、資管系統、TA系統、資訊系統、SOEM等系統的相關數據，并進行標準化和提供各業務系統二次開發標準接口。具體可以分為數據抽取清洗、數據標準化及建模、領導者駕駛艙應用、數據管控平臺4個部分。

ETL包括從業務系統抽取數據，進行整理和轉換，然后進行數據加載。在目前的環境中，可以界定為從源系統的取數據到裝載數據入核心數據庫的這段過程。下面的圖描述了ETL和相關部分的具體數據流。

下圖為通過ETL建立數據倉庫的整體過程：

ETL主要完成以下內容：

從各類同構或異構生產庫系統抽取、轉換、加載數據到大數據平臺的ODS數據層。 根據xx需求按照一定主題建立的數據模型，抽取、轉換、加載ODS數據到大數據平臺的企業級數據倉庫層即EDW層。 根據數據中心模型設計規范與xx的數據需求建立完整的數據中心指標體系。 根據xx業務條線或者部門級的需求按照數據中心既定的數據標準和規范加載轉換EDW數據和指標庫數據到各類數據集市。 數據源

xx數據中心團隊和風險管理團隊歷經多年的風險管理數據采集、數據中心系統數據采集工作，積累了非常豐富的各類證券系統數據對接經驗。

從系統類別的角度看，數據中心數據源采集對接經驗如下：

接口類別

支持接口數量

典型接口

完成狀態

集中交易

UF2.0/金證W版/金證U版/頂點ABoss

已投產

TA系統

xxTA/金證TA/xx自建TA/金證自建TA

已投產

資管系統

xxO32/xx資管SQL/銘創V8

已投產

資訊系統

Wind咨詢/Wind金融數據庫版/港澳資訊SQL版/聚源資訊

已投產

固收系統

海益固收/Comstar/衡泰固收Xir

已投產

賬戶系統

xx賬戶系統/頂點賬戶系統CIF

已投產

估值系統

xx估值基金版/xx估值保險版/贏時勝估值

已投產

財務系統

15

用友23/用友55/用友63/金蝶EAS/浪潮財務

已投產

融資融券系統

xx融資融券/金證融資融券

已投產

從xx現有應用系統的角度看，數據中心數據源采集對接經驗如下：

客戶名稱

接口名稱

完成狀態

xx

xxTA

全面風險團隊已投產

xx自建TA

全面風險團隊已投產

用友財務系統

全面風險團隊已投產

集中交易系統xxUF2.0版

全面風險團隊已投產

融資融券系統xxUF2.0版

全面風險團隊已投產

海益固收系統

全面風險團隊已投產

賬戶系統xxUF2.0版

全面風險團隊已投產