工商銀行大數(shù)據(jù)云原生探索與實(shí)踐

來(lái)源《銀行科技研究社》： 隨著云計(jì)算技術(shù)的深入應(yīng)用，帶來(lái)資源集約化和應(yīng)用靈活性優(yōu)勢(shì)的云原生概念產(chǎn)生，大數(shù)據(jù)技術(shù)完成了從私有化部署到云上部署再向云原生的轉(zhuǎn)變，云原生能力正被大數(shù)據(jù)利用以提升效率。信通院最新發(fā)布的大數(shù)據(jù)白皮書(shū)指出：“利用云原生思想進(jìn)行能力升級(jí)”為當(dāng)前大數(shù)據(jù)技術(shù)發(fā)展趨勢(shì)，在此背景下，中國(guó)工商銀行持續(xù)探索和實(shí)踐大數(shù)據(jù)云原生化，提升大數(shù)據(jù)技術(shù)對(duì)業(yè)務(wù)的支撐能力，強(qiáng)化金融服務(wù)實(shí)體經(jīng)濟(jì)的數(shù)字驅(qū)動(dòng)能力。

一、大數(shù)據(jù)云原生建設(shè)初衷

自2002年起，工商銀行軟件開(kāi)發(fā)中心即持續(xù)優(yōu)化數(shù)據(jù)架構(gòu)、推進(jìn)數(shù)據(jù)賦能業(yè)務(wù)，并在完成數(shù)據(jù)大集中的基礎(chǔ)上，開(kāi)啟了金融行業(yè)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)。此后，工商銀行軟件開(kāi)發(fā)中心又以“開(kāi)放、共享”為原則，于2016年啟動(dòng)了大數(shù)據(jù)服務(wù)云體系建設(shè)項(xiàng)目，以搭建可靠、高效、易擴(kuò)展的大數(shù)據(jù)技術(shù)平臺(tái)為基礎(chǔ)，以“一湖兩庫(kù)”和豐富多樣的數(shù)據(jù)服務(wù)為支撐，逐步形成了集技術(shù)、數(shù)據(jù)、服務(wù)于一體的數(shù)據(jù)中臺(tái)體系。目前，工商銀行已建成同業(yè)最大規(guī)模單集群，以大數(shù)據(jù)技術(shù)平臺(tái)和數(shù)據(jù)中臺(tái)體系支撐全行用數(shù)賦智，具備“自主可控、規(guī)模大、數(shù)據(jù)全、用數(shù)易、時(shí)效高、引擎多元”等優(yōu)秀特點(diǎn)。隨著數(shù)據(jù)和業(yè)務(wù)規(guī)模的不斷增長(zhǎng)，傳統(tǒng)存算一體的大數(shù)據(jù)架構(gòu)逐漸面臨資源和性能瓶頸，在資源利用、資源調(diào)度、高效運(yùn)維、敏捷創(chuàng)新等方面存在諸多瓶頸，逐漸無(wú)法適應(yīng)未來(lái)的業(yè)務(wù)發(fā)展需要。具體來(lái)說(shuō)，存在以下幾個(gè)方面問(wèn)題：

(資料圖片僅供參考)

1)存算資源緊耦合：傳統(tǒng)架構(gòu)下，大數(shù)據(jù)集群的計(jì)算資源和存儲(chǔ)資源是緊耦合的，無(wú)法實(shí)現(xiàn)獨(dú)立擴(kuò)縮容，這造成了計(jì)算和存儲(chǔ)資源利用率方面存在局部的不均衡。例如流式計(jì)算服務(wù)集群的計(jì)算資源利用率較高，存儲(chǔ)資源利用率不高，存算一體架構(gòu)下存儲(chǔ)和計(jì)算資源只能同步擴(kuò)容，帶來(lái)資源的浪費(fèi)。

2)資源調(diào)度欠靈活：傳統(tǒng)架構(gòu)下，各業(yè)務(wù)集群間資源使用存在一定錯(cuò)峰的情況，但跨集群、跨業(yè)務(wù)的彈性資源調(diào)配難以實(shí)現(xiàn)。計(jì)算資源在不同的業(yè)務(wù)集群之間無(wú)法彈性調(diào)度，特別是大數(shù)據(jù)業(yè)務(wù)和在線業(yè)務(wù)間存在明顯的錯(cuò)峰現(xiàn)象，大數(shù)據(jù)業(yè)務(wù)高峰通常是凌晨0點(diǎn)至早上8點(diǎn)，在線業(yè)務(wù)高峰通常是早上8點(diǎn)至晚上22點(diǎn)，由于兩者之間的計(jì)算資源不能靈活調(diào)度，導(dǎo)致整體設(shè)備規(guī)模出現(xiàn)了一定程度的膨脹。

3)資源隔離不徹底：傳統(tǒng)架構(gòu)下，為了實(shí)現(xiàn)數(shù)據(jù)全局共享，通常采用超大規(guī)模單集群部署模式，導(dǎo)致關(guān)鍵場(chǎng)景之間無(wú)法徹底做到資源隔離。

4)集群版本升級(jí)難：傳統(tǒng)架構(gòu)下，由于集群版本升級(jí)時(shí)，所有節(jié)點(diǎn)都需要同時(shí)更新，增加停機(jī)時(shí)間和系統(tǒng)風(fēng)險(xiǎn)，無(wú)法實(shí)現(xiàn)灰度升級(jí)，運(yùn)維成本越來(lái)越高，導(dǎo)致新版本能力、新計(jì)算引擎的引入實(shí)施節(jié)奏慢，難以實(shí)現(xiàn)敏捷迭代。

云原生是大數(shù)據(jù)平臺(tái)下一代架構(gòu)的發(fā)展方向，特指大數(shù)據(jù)平臺(tái)充分利用云的特性，以存算分離形態(tài)部署，支持計(jì)算資源彈性調(diào)度，實(shí)現(xiàn)技術(shù)能力的快速升級(jí)，以解決傳統(tǒng)架構(gòu)下的瓶頸問(wèn)題。

二、大數(shù)據(jù)云原生建設(shè)思路

工商銀行大數(shù)據(jù)和人工智能實(shí)驗(yàn)室一直以來(lái)保持著對(duì)大數(shù)據(jù)前沿技術(shù)的持續(xù)跟蹤、研究及應(yīng)用，針對(duì)大數(shù)據(jù)傳統(tǒng)架構(gòu)在資源和性能方面的痛點(diǎn)問(wèn)題，前瞻性地對(duì)大數(shù)據(jù)云原生化進(jìn)行了總體部署和工作規(guī)劃，并在存算分離、資源彈性調(diào)度等方面完成了技術(shù)試點(diǎn)。

1、架構(gòu)體系規(guī)劃

工商銀行大數(shù)據(jù)和人工智能實(shí)驗(yàn)室借鑒業(yè)界大數(shù)據(jù)云原生建設(shè)經(jīng)驗(yàn)，從“算、管、存、彈”四個(gè)方面進(jìn)行架構(gòu)規(guī)劃。通過(guò)建設(shè)云上統(tǒng)一存儲(chǔ)服務(wù)，實(shí)現(xiàn)存算分離部署形態(tài)，解耦大數(shù)據(jù)存儲(chǔ)與計(jì)算資源，并在架構(gòu)上獨(dú)立建設(shè)統(tǒng)一元數(shù)據(jù)服務(wù)，全局形成統(tǒng)一的數(shù)據(jù)視圖，在統(tǒng)一資源管理服務(wù)中引入容器化彈性資源池，支持計(jì)算資源彈性調(diào)度，使得大數(shù)據(jù)平臺(tái)在資源擴(kuò)容、資源調(diào)度、資源隔離、資源利用率全方面獲得提升，降低大數(shù)據(jù)平臺(tái)綜合成本，提升平臺(tái)資源供給能力。工商銀行云原生大數(shù)據(jù)平臺(tái)整體架構(gòu)可分為計(jì)算層、存儲(chǔ)層和資源層：

云原生大數(shù)據(jù)平臺(tái)規(guī)劃架構(gòu)圖

計(jì)算層主要負(fù)責(zé)數(shù)據(jù)的處理和分析。通過(guò)提供豐富的計(jì)算引擎，滿足多種業(yè)務(wù)場(chǎng)景的分析需求，包括批處理引擎Hive/Spark、批流一體引擎Flink、交互式分析引擎等。計(jì)算集群不再存儲(chǔ)數(shù)據(jù)，實(shí)現(xiàn)無(wú)狀態(tài)化，且可實(shí)現(xiàn)計(jì)算集群之間資源的完全隔離和按需擴(kuò)容。

存儲(chǔ)層包括統(tǒng)一存儲(chǔ)和統(tǒng)一元數(shù)據(jù)服務(wù)，實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一存儲(chǔ)、元數(shù)據(jù)統(tǒng)一管理，統(tǒng)一面向多個(gè)大數(shù)據(jù)計(jì)算集群提供全局?jǐn)?shù)據(jù)視圖，避免傳統(tǒng)架構(gòu)下跨集群共享數(shù)據(jù)需拷貝一份帶來(lái)的冗余問(wèn)題。同時(shí)，通過(guò)權(quán)限統(tǒng)一控制，全局保障數(shù)據(jù)訪問(wèn)安全。

資源層統(tǒng)一納管底層異構(gòu)硬件，通過(guò)資源池化能力，向上融合供給大數(shù)據(jù)計(jì)算與存儲(chǔ)資源。在資源層統(tǒng)一資源管理服務(wù)中創(chuàng)新引入容器化彈性資源池，支持計(jì)算資源彈性調(diào)度，并實(shí)現(xiàn)在離線資源混合部署和調(diào)度，使得大數(shù)據(jù)平臺(tái)在資源供給能力方面獲得大幅提升。

2、核心能力建設(shè)

通過(guò)存算分離解耦存儲(chǔ)與計(jì)算資源。工商銀行已在金融生態(tài)云完成存算分離架構(gòu)試點(diǎn)，以公有云形式對(duì)行外客戶提供靈活、彈性的大數(shù)據(jù)計(jì)算服務(wù)，真正做到計(jì)算不夠擴(kuò)計(jì)算，存儲(chǔ)不夠擴(kuò)存儲(chǔ)，按需供給大數(shù)據(jù)資源，保障計(jì)算、存儲(chǔ)集群的資源利用率充分均衡。

通過(guò)容器化資源池實(shí)現(xiàn)資源彈性調(diào)度。工商銀行已實(shí)現(xiàn)計(jì)算引擎容器化輕量級(jí)部署，并初步完成了容器化彈性資源池建設(shè)，支持在離線業(yè)務(wù)資源的混合部署和調(diào)度，大數(shù)據(jù)平臺(tái)可錯(cuò)峰利用在線業(yè)務(wù)碎片化資源緩解月末、季末批量資源緊張問(wèn)題，資源調(diào)度的靈活性得到了大幅提升。

利用PaaS云平臺(tái)實(shí)現(xiàn)容器化彈性資源池

通過(guò)計(jì)算集群無(wú)狀態(tài)化改造和拆分，實(shí)現(xiàn)關(guān)鍵場(chǎng)景之間計(jì)算資源物理隔離，并支持集群灰度升級(jí)。工商銀行基于存算分離架構(gòu)，持續(xù)推進(jìn)計(jì)算集群無(wú)狀態(tài)化改造，并計(jì)劃將原先的超大規(guī)模集群拆分成多個(gè)計(jì)算集群，做到關(guān)鍵場(chǎng)景之間計(jì)算資源徹底隔離，同時(shí)支持新技術(shù)能力的灰度引入與快速迭代，化解超大規(guī)模單集群的風(fēng)險(xiǎn)，降低運(yùn)維成本，持續(xù)提升平臺(tái)的穩(wěn)定性。

三、總結(jié)與展望

大數(shù)據(jù)云原生已是不可逆轉(zhuǎn)的行業(yè)趨勢(shì)，隨著云計(jì)算技術(shù)的不斷發(fā)展，大數(shù)據(jù)技術(shù)體系也必將向云不斷融合。大數(shù)據(jù)云原生目前仍處于探索階段，未來(lái)工商銀行大數(shù)據(jù)和人工智能實(shí)驗(yàn)室將持續(xù)推進(jìn)新一代云原生大數(shù)據(jù)平臺(tái)建設(shè)，繼續(xù)秉持“科技引領(lǐng)，創(chuàng)新賦能”的發(fā)展理念，不斷加強(qiáng)與業(yè)界領(lǐng)先科技公司的合作，持續(xù)提升大數(shù)據(jù)技術(shù)對(duì)業(yè)務(wù)的支撐能力，為金融科技應(yīng)用實(shí)踐和大數(shù)據(jù)生態(tài)建設(shè)添磚加瓦。

作者：工商銀行金融科技研究院 大數(shù)據(jù)和人工智能實(shí)驗(yàn)室

關(guān)鍵詞：