金融行業(yè)數(shù)據(jù)復(fù)雜 成本高 難獲取 看路孚特如何打破困局

　 域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過(guò)

嘉賓丨路孚特 RDP 研發(fā)總監(jiān)董玉棟，路孚特高級(jí)研發(fā)經(jīng)理趙儀，路孚特企業(yè)架構(gòu)總監(jiān)陳強(qiáng)

2018 年，湯森路透金融與風(fēng)險(xiǎn)業(yè)務(wù)部門獨(dú)立成為 Refinitiv(路孚特)。路孚特在湯森路透金融數(shù)據(jù)和市場(chǎng)知識(shí)積累之上，利用領(lǐng)先的技術(shù)、信息和分析方法繼續(xù)為行業(yè)者提供著服務(wù)。如今路孚特推出金融數(shù)據(jù)平臺(tái)。(Refinitiv Elektron Data Platform，簡(jiǎn)稱 RDP)，進(jìn)一步發(fā)揮其在行業(yè)積累的優(yōu)勢(shì)。InfoQ 記者專訪路孚特 RDP 研發(fā)總監(jiān)董玉棟、路孚特高級(jí)研發(fā)經(jīng)理趙儀、路孚特企業(yè)架構(gòu)總監(jiān)陳強(qiáng)，揭秘 RDP 的設(shè)計(jì)理念及技術(shù)亮點(diǎn)。

從傳統(tǒng)的金融數(shù)據(jù)管理到現(xiàn)代金融數(shù)據(jù)治理，金融行業(yè)迎來(lái)巨大的轉(zhuǎn)變。由于數(shù)據(jù)量增長(zhǎng)形成的倒逼，以及要順應(yīng)監(jiān)管機(jī)構(gòu)和用戶的需求，越來(lái)越多的金融從業(yè)機(jī)構(gòu)開(kāi)始意識(shí)到“數(shù)據(jù)驅(qū)動(dòng)”的重要性，但全面釋放數(shù)據(jù)價(jià)值的過(guò)程并非一帆風(fēng)順。

金融行業(yè)在數(shù)據(jù)治理中面臨哪些痛點(diǎn)?

路孚特企業(yè)架構(gòu)總監(jiān)陳強(qiáng)表示，在金融行業(yè)里，數(shù)據(jù)來(lái)源非常復(fù)雜。面對(duì)不同的數(shù)據(jù)提供廠商、數(shù)據(jù)類型以及數(shù)據(jù)提供方式，企業(yè)要獲取所需的金融數(shù)據(jù)并作處理分析，成本并不低。而一些小型金融機(jī)構(gòu)即便獲取到數(shù)據(jù)，也沒(méi)有足夠的技術(shù)能力去處理。

從另一個(gè)角度來(lái)看，路孚特高級(jí)研發(fā)經(jīng)理趙儀解釋，數(shù)據(jù)通常受到兩類人的關(guān)注：一類是數(shù)據(jù)提供商，另一類是數(shù)據(jù)消費(fèi)者。對(duì)于數(shù)據(jù)提供商而言，數(shù)據(jù)的權(quán)限管理、再分發(fā)權(quán)限的機(jī)制、數(shù)據(jù)合規(guī)等始終是痛點(diǎn);對(duì)于數(shù)據(jù)消費(fèi)者而言，如何解決數(shù)據(jù)來(lái)源不同、格式不統(tǒng)一、不一致等問(wèn)題迫在眉睫。

總體來(lái)看，金融從業(yè)機(jī)構(gòu)面臨的主要痛點(diǎn)如下：

數(shù)據(jù)來(lái)源復(fù)雜，且在不同部門、不同業(yè)務(wù)系統(tǒng)以及不同領(lǐng)域的機(jī)構(gòu)間，數(shù)據(jù)缺乏流動(dòng)性和共享性。

數(shù)據(jù)標(biāo)準(zhǔn)化程度低。來(lái)自不同業(yè)務(wù)、不同時(shí)期的數(shù)據(jù)，在用途、結(jié)構(gòu)、價(jià)值和質(zhì)量水平等方面差異較大，導(dǎo)致數(shù)據(jù)的提取、整理、分析和使用的難度加大。

成本問(wèn)題。隨著用戶量和數(shù)據(jù)量的增加，訪問(wèn)和使用數(shù)據(jù)的成本也在大幅提升。

目前金融機(jī)構(gòu)大部分可利用的數(shù)據(jù)依然是傳統(tǒng)業(yè)務(wù)產(chǎn)生的數(shù)據(jù)，而外部數(shù)據(jù)源拓展不足，缺乏更高層面的統(tǒng)籌協(xié)調(diào)來(lái)支持全面的數(shù)據(jù)分析和使用。

基于以上原因，路孚特推出了自主研發(fā)的金融數(shù)據(jù)平臺(tái) RDP。該平臺(tái)應(yīng)用統(tǒng)一的存儲(chǔ)層能力匯集來(lái)自全球的海量金融數(shù)據(jù)，通過(guò)完整的清洗、分析和增值處理流程后，集中分發(fā)給用戶。

RDP 研發(fā)總監(jiān)董玉棟提到，路孚特已經(jīng)與全球的證券交易所、期貨交易所等機(jī)構(gòu)建立了合作關(guān)系，從數(shù)據(jù)生產(chǎn)端獲取到一手?jǐn)?shù)據(jù)，面向全球發(fā)布到數(shù)據(jù)消費(fèi)的一端。簡(jiǎn)單來(lái)講，就是“收之全球，發(fā)之全球”。

可以說(shuō)，RDP 相當(dāng)于一個(gè)全球金融行業(yè)數(shù)據(jù)的統(tǒng)籌協(xié)調(diào)中心，其目的是方便金融從業(yè)者獲取更全面的行業(yè)數(shù)據(jù)，同時(shí)盡可能減少用戶成本，增加數(shù)據(jù)價(jià)值。

RDP 如何幫助金融從業(yè)者以較低的成本訪問(wèn)和使用數(shù)據(jù)?

據(jù)了解，企業(yè)在數(shù)據(jù)傳輸過(guò)程中，除了從上游不同業(yè)務(wù)數(shù)據(jù)庫(kù)中實(shí)時(shí)、定時(shí)傳輸?shù)较掠蜗到y(tǒng)之外，還需要從外部合作商、供應(yīng)商中獲取業(yè)務(wù)數(shù)據(jù)。RDP 具有大數(shù)據(jù)級(jí)別的行業(yè)數(shù)據(jù)，那么，它是如何幫助金融從業(yè)者以較低的成本便捷地訪問(wèn)和使用這些數(shù)據(jù)?

RDP 的解決思路是：將其核心數(shù)據(jù)存儲(chǔ)在 AWS 上，為用戶提供基于元數(shù)據(jù)驅(qū)動(dòng)的統(tǒng)一的 API 接口。RDP 的數(shù)據(jù)和 API 接口可以通過(guò)所有主流的公有云產(chǎn)品、私有云設(shè)施，以及企業(yè)自有數(shù)據(jù)中心訪問(wèn)。

從用戶角度來(lái)看，基于元數(shù)據(jù)的訪問(wèn)大大簡(jiǎn)化了客戶對(duì)數(shù)據(jù)的使用。但是，數(shù)據(jù)訪問(wèn)越便捷意味著開(kāi)發(fā)難度越高。董玉棟也提到，統(tǒng)一的 API 背后，需要理解客戶不同類型的請(qǐng)求，并能夠高效執(zhí)行，但云原生的 API 網(wǎng)關(guān)并不能完全實(shí)現(xiàn)這種特性。

API 網(wǎng)關(guān)處于客戶端與各個(gè)微服務(wù)之間，擔(dān)任著反向代理的角色，負(fù)責(zé)將不同的請(qǐng)求路由到相對(duì)應(yīng)的微服務(wù)中去。API 網(wǎng)關(guān)可以解決客戶端需求和每個(gè)微服務(wù)暴露的細(xì)粒度 API 不匹配、部分服務(wù)使用的協(xié)議非 Web 友好協(xié)議等問(wèn)題。

為了提升 API 性能，滿足用戶不同類型的訪問(wèn)請(qǐng)求，路孚特自主研發(fā)了 API 網(wǎng)關(guān)以及用戶數(shù)據(jù)權(quán)限管理系統(tǒng)。AWS 中的 API 網(wǎng)關(guān)會(huì)注冊(cè)其所有的 RDP API，包括內(nèi)部消費(fèi)的 API 和面向客戶的 API。用戶請(qǐng)求到達(dá)以后，API 網(wǎng)關(guān)會(huì)自動(dòng)驗(yàn)證用戶的權(quán)限，并保證后續(xù)的合法數(shù)據(jù)請(qǐng)求快速遞交給相應(yīng)的服務(wù)，而超出服務(wù)范圍的請(qǐng)求會(huì)自動(dòng)拒絕。董玉棟表示，所有在 RDP 上的產(chǎn)品設(shè)計(jì)都是從 API 定義開(kāi)始，這有助于實(shí)現(xiàn)把客戶需求放到第一位的目標(biāo)，并最大化各種 API 及服務(wù)的重用性，避免重復(fù)實(shí)現(xiàn)相同的功能。

在數(shù)據(jù)分發(fā)上，RDP 統(tǒng)一了流式處理、批量處理和基于請(qǐng)求的數(shù)據(jù)提供方式。對(duì)于流式數(shù)據(jù)的訪問(wèn)，董玉棟提到，這類數(shù)據(jù)即時(shí)性很重要，RDP 通過(guò)在中間做多層緩存將數(shù)據(jù)持續(xù)且高速地推送給客戶。

批量數(shù)據(jù)請(qǐng)求分為“定制批量請(qǐng)求”和“隨機(jī)批量請(qǐng)求”兩種情況。對(duì)于定制批量請(qǐng)求，RDP 按照約定時(shí)間定時(shí)打包推送給用戶;對(duì)于隨機(jī)批量請(qǐng)求，則采用異步打包，然后將數(shù)據(jù)提取位置發(fā)送給用戶的方式處理。

對(duì)于面向搜索的數(shù)據(jù)，董玉棟介紹：“這類訪問(wèn)基本都是同步請(qǐng)求，實(shí)時(shí)訪問(wèn)我們的數(shù)據(jù)庫(kù)返回給客戶。有時(shí)候用戶基于搜索的數(shù)據(jù)量特別大，RDP 系統(tǒng)會(huì)進(jìn)行職能預(yù)測(cè)，自動(dòng)將這一類請(qǐng)求轉(zhuǎn)變成隨機(jī)批量數(shù)據(jù)請(qǐng)求來(lái)處理。”

那么，如何應(yīng)對(duì)諸如跨洋實(shí)時(shí)交易這類對(duì)時(shí)效性要求非常高的超低時(shí)延數(shù)據(jù)訪問(wèn)?

趙儀解釋：“跨洋實(shí)時(shí)交易本身存在地理位置上的時(shí)延，再加上系統(tǒng)帶來(lái)的時(shí)延，通過(guò)云服務(wù)訪問(wèn)無(wú)法滿足超低時(shí)延的需求。即便是快到 70ms 的時(shí)延，對(duì)于實(shí)時(shí)交易來(lái)講，也是一種延遲。”路孚特的做法是在全球部署數(shù)據(jù)中心，以此提高時(shí)效性。此外，目前公有云還無(wú)法提供具有超高時(shí)效性的數(shù)據(jù)，因此，比較合適的做法是將數(shù)據(jù)通過(guò)專線直接部署到用戶所在地。

元數(shù)據(jù)驅(qū)動(dòng)的價(jià)值與挑戰(zhàn)

從簡(jiǎn)單的庫(kù)表到整個(gè)數(shù)據(jù)平臺(tái)，再到服務(wù)管理，元數(shù)據(jù)管理的范圍正在擴(kuò)大，不斷突破傳統(tǒng)管理的范疇，并在大數(shù)據(jù)治理中發(fā)揮著關(guān)鍵作用。而 RDP 的整個(gè)系統(tǒng)便是由元數(shù)據(jù)驅(qū)動(dòng)的。

簡(jiǎn)單來(lái)講，元數(shù)據(jù)是對(duì)數(shù)據(jù)本身進(jìn)行描述的數(shù)據(jù)，如描述數(shù)據(jù)的格式、映射關(guān)系、語(yǔ)義、權(quán)限等。元數(shù)據(jù)管理具有以下三方面的價(jià)值：

可以為數(shù)據(jù)管理提供統(tǒng)一的視圖，方便數(shù)據(jù)交互共享;

實(shí)現(xiàn)數(shù)據(jù)自動(dòng)關(guān)聯(lián)分析，為數(shù)據(jù)分析、問(wèn)題定位等提供支撐;

便于建立數(shù)據(jù)標(biāo)準(zhǔn)，統(tǒng)一交換、存儲(chǔ)、應(yīng)用口徑，減少共享壁壘，降低應(yīng)用出錯(cuò)幾率，提升質(zhì)量。

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的容量、多樣性等在持續(xù)擴(kuò)充，元數(shù)據(jù)管理也面臨著挑戰(zhàn)。目前，元數(shù)據(jù)仍然沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)，如何用一套統(tǒng)一的語(yǔ)義去描述種類繁多的金融數(shù)據(jù)間的特征，并且真正和數(shù)據(jù)管理系統(tǒng) / 微服務(wù)之間緊密集成而不是割裂的存在，是行業(yè)中普遍存在的問(wèn)題。

企業(yè)首先需要集中化管理元數(shù)據(jù)，由一個(gè)專門且人數(shù)較少的架構(gòu)師團(tuán)隊(duì)定義元數(shù)據(jù)，并進(jìn)行統(tǒng)一管理。其次，研發(fā)團(tuán)隊(duì)要讓軟件能夠支持元數(shù)據(jù)體系，并與之融為一體，而非割裂存在。最后，不僅內(nèi)部的系統(tǒng)要實(shí)現(xiàn)元數(shù)據(jù)驅(qū)動(dòng)，系統(tǒng)間的相互訪問(wèn)以及對(duì)外開(kāi)放也需要遵循同一套體系。

隨著元數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)管理、API 訪問(wèn)和增值業(yè)務(wù)能力的增加，元數(shù)據(jù)實(shí)質(zhì)上已經(jīng)成為了更高級(jí)別抽象的代碼，這就帶來(lái)了一個(gè)難題：如何進(jìn)行數(shù)據(jù)的生命周期管理。確切地說(shuō)，這類復(fù)雜的問(wèn)題沒(méi)有單一的解決方案，必須從系統(tǒng)級(jí)架構(gòu)、可重用的代碼和服務(wù)、DevOps 和自動(dòng)化測(cè)試、代碼安全掃描等多個(gè)方面來(lái)解決問(wèn)題。

對(duì)此，陳強(qiáng)分享了以下幾點(diǎn)經(jīng)驗(yàn)：

(1)如何在權(quán)限管理系統(tǒng)中定義“誰(shuí)”可以“管理”哪些“元數(shù)據(jù)”?可以把整個(gè)系統(tǒng)中的“誰(shuí)”、“管理(行為)”、“元數(shù)據(jù)”這些業(yè)務(wù)概念也都元數(shù)據(jù)化，由統(tǒng)一的身份及權(quán)限系統(tǒng)通過(guò)共享服務(wù)進(jìn)行統(tǒng)一管理。

(2)對(duì)于可以在線修改并實(shí)時(shí)生效的元數(shù)據(jù)，尤其是決定數(shù)據(jù)存儲(chǔ)和表現(xiàn)形式的元數(shù)據(jù)，如何保證由其驅(qū)動(dòng)的數(shù)據(jù)系統(tǒng)的健壯性、穩(wěn)定性和可控性?首先，在線元數(shù)據(jù)的修改和發(fā)布是獨(dú)立的異步流程，可由相應(yīng)的權(quán)限進(jìn)行控制;其次，對(duì)元數(shù)據(jù)的前后變化進(jìn)行快照，并以版本號(hào)作為快照的唯一標(biāo)識(shí)符，在發(fā)布和回滾元數(shù)據(jù)版本時(shí)可以明確地識(shí)別具體的快照內(nèi)容;最后，發(fā)布和回滾的過(guò)程中，可以根據(jù)業(yè)務(wù)特點(diǎn)，根據(jù)需要輔以各種在線的自動(dòng)化功能測(cè)試和發(fā)布策略。

(3)某些業(yè)務(wù)及技術(shù)實(shí)現(xiàn)的復(fù)雜度導(dǎo)致一些元數(shù)據(jù)的修改無(wú)法真正進(jìn)行熱加載和實(shí)時(shí)生效，或者實(shí)現(xiàn)熱加載 / 部署的代價(jià)過(guò)高，但仍然需要業(yè)務(wù)管理專家而非研發(fā)人員控制和實(shí)施元數(shù)據(jù)修改的部署。RDP 在應(yīng)用中會(huì)盡量利用公有云的彈性，對(duì)版本化后的元數(shù)據(jù)進(jìn)行修改，并進(jìn)行 CI/CD 持續(xù)集成和自動(dòng)化測(cè)試，同時(shí)輔助以藍(lán) / 綠部署策略。這樣，元數(shù)據(jù)的版本控制與代碼的版本控制流程及部署策略就可以非常接近。不同的是，元數(shù)據(jù)的修改是通過(guò)易于使用的控制界面，主要由業(yè)務(wù)專家進(jìn)行管理。在這背后，路孚特所有由業(yè)務(wù)專家使用的功能都會(huì)經(jīng)過(guò)充分的測(cè)試，確保界面上可以操作的功能是健壯有效的。

隨著數(shù)據(jù)量的增長(zhǎng)，RDP 如何平衡性能與成本?

隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)平臺(tái)難免要面對(duì)數(shù)據(jù)或作業(yè)爆發(fā)式增長(zhǎng)所帶來(lái)的挑戰(zhàn)。RDP 的用戶量和數(shù)據(jù)量每年都會(huì)大幅增長(zhǎng)，相應(yīng)的成本投資增長(zhǎng)不容小覷。在這種數(shù)據(jù)量和計(jì)算量不斷增長(zhǎng)的情況下，如何去平衡性能和成本?趙儀表示，這一問(wèn)題的核心在于每個(gè)用戶計(jì)算成本的控制，即如何保證每個(gè)用戶計(jì)算成本不隨用戶數(shù)量和數(shù)據(jù)量的增加而顯著增加。RDP 在控制成本方面可借鑒的方法有：

(1)盡可能地在用戶間共享可以共享的計(jì)算，只需支付對(duì)用戶的分發(fā)成本;

(2)控制熱點(diǎn)數(shù)據(jù)的規(guī)模，在 API 級(jí)區(qū)分熱點(diǎn)訪問(wèn)和冷數(shù)據(jù)訪問(wèn);

(3)基于微服務(wù)的管理，方便用戶管理自己的數(shù)據(jù)需求;

(4)用戶輸入不同的數(shù)據(jù)源不盲目整合，避免在一個(gè)對(duì)象模型下產(chǎn)生巨量的數(shù)據(jù)集，從而降低用戶增加對(duì)單個(gè)用戶計(jì)算復(fù)雜度的影響;

(5)數(shù)據(jù)壓縮 / 訪問(wèn)本地化 / 算法優(yōu)化等傳統(tǒng)方法。

對(duì)于大數(shù)據(jù)平臺(tái)而言，區(qū)分冷熱數(shù)據(jù)并安排不同的存儲(chǔ)方式是非常重要的一項(xiàng)工作，對(duì)存儲(chǔ)成本和計(jì)算性能至關(guān)重要。對(duì)于冷數(shù)據(jù)，由于調(diào)用頻率相對(duì)較低，可以通過(guò)冷壓縮，將數(shù)據(jù)壓縮到最小，再存儲(chǔ)起來(lái)的方式節(jié)省存儲(chǔ)成本;對(duì)于熱數(shù)據(jù)，則需要增加 Cache 或者采用一些優(yōu)化策略，讓用戶能快速調(diào)用，從而提升計(jì)算性能。

數(shù)據(jù)本身并不產(chǎn)生價(jià)值，基于數(shù)據(jù)的計(jì)算才能帶來(lái)價(jià)值。為了保證上層計(jì)算的有效性，通常將數(shù)據(jù)放在距離計(jì)算最近的地方，否則會(huì)帶來(lái)傳輸?shù)难舆t。數(shù)據(jù)的統(tǒng)一存儲(chǔ)并非是將數(shù)據(jù)都放在同一個(gè)地方，這里的統(tǒng)一存儲(chǔ)其實(shí)是一個(gè)邏輯概念。不同的數(shù)據(jù)應(yīng)該放在不同的存儲(chǔ)中，才能使數(shù)據(jù)上層的計(jì)算最有效，并將數(shù)據(jù)延遲降到最低。RDP 會(huì)針對(duì)不同的訪問(wèn)請(qǐng)求提供不同的數(shù)據(jù)訪問(wèn)緩存，并輔以共享計(jì)算的方式對(duì)數(shù)據(jù)傳輸進(jìn)行優(yōu)化。

路孚特金融數(shù)據(jù)平臺(tái)的未來(lái)發(fā)展趨勢(shì)

科技帶給金融行業(yè)的影響顯而易見(jiàn)，在金融機(jī)構(gòu)進(jìn)行各種互聯(lián)網(wǎng)創(chuàng)新的同時(shí)，也將金融科技的重要性提升到了戰(zhàn)略高度，通過(guò) AI、大數(shù)據(jù)、云計(jì)算、區(qū)塊鏈等新興技術(shù)不斷提升金融效率和競(jìng)爭(zhēng)力，建立新的金融生態(tài)。

而大數(shù)據(jù)技術(shù)從最初的“新奇”發(fā)展到如今的“普惠”階段，用戶的關(guān)注點(diǎn)也發(fā)生了很大的改變。早期用戶比較關(guān)注“靈活”、“快”，現(xiàn)在更關(guān)心的是企業(yè)級(jí)能力，同時(shí)降低成本也變得越來(lái)越重要。目前，企業(yè)級(jí)數(shù)據(jù)平臺(tái)普遍存在的困難是高速增長(zhǎng)的數(shù)據(jù)和計(jì)算量與成本之間的矛盾。如何用更低的成本獲取更多的信息，不僅是金融從業(yè)機(jī)構(gòu)的迫切需求，也是數(shù)據(jù)平臺(tái)的核心競(jìng)爭(zhēng)點(diǎn)。

談及 RDP 未來(lái)的發(fā)展重點(diǎn)，趙儀表示：“RDP 的目標(biāo)主要集中在加強(qiáng)數(shù)據(jù)的統(tǒng)一存儲(chǔ)和分發(fā)能力，降低客戶獲取數(shù)據(jù)的復(fù)雜度和成本。未來(lái)將用更低的成本擴(kuò)大數(shù)據(jù)覆蓋范圍。”與此同時(shí)，RDP 會(huì)繼續(xù)獲取更多的用戶需求，并把這些需求統(tǒng)一到 RDP 數(shù)據(jù)分發(fā)機(jī)制里，更好地為客戶提供存儲(chǔ)和分發(fā)的能力。

用科技普惠金融，這是路孚特技術(shù)團(tuán)隊(duì)研發(fā) RDP 的初心。未來(lái)，隨著 5G、AI 等新興技術(shù)的發(fā)展，路孚特也將打造更加智能高效的平臺(tái)，給用戶提供更好的體驗(yàn)。

除了在技術(shù)上不斷精益求精，路孚特也在積極推動(dòng)金融科技的生態(tài)發(fā)展。11 月 29 日，由路孚特主辦，以“引領(lǐng)科技變革，洞見(jiàn)金融未來(lái)”為主題的 ReFinTech 金融科技峰會(huì)將在北京舉行。本次大會(huì)邀請(qǐng)了金融界知名專家和金融科技企業(yè)技術(shù)專家，深度探討行業(yè)發(fā)展思路和技術(shù)演進(jìn)趨勢(shì)，分享最前沿創(chuàng)新實(shí)踐，共同打造“創(chuàng)新、聚力、發(fā)展、共贏”的金融科技生態(tài)平臺(tái)。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！