3
發(fā)布日期:2024-10-07 19:15 瀏覽次數(shù):
4166am金沙掃描或點擊關注中金在線年首期 Techo Day 騰訊技術開放日上,騰訊云以“信息系統(tǒng)遷移的難點及突破”為主題,聚焦金融核心系統(tǒng)的遷移,首次公開其在銀行、證券、基金等多個行業(yè)客戶核心系統(tǒng)遷移過程中的具體實踐和諸多細節(jié),通過對具體案例的深度拆解和復盤,為金融領域開發(fā)者帶來極具參考價值的干貨分享。
由于金融機構(gòu)對業(yè)務連續(xù)性和數(shù)據(jù)準確性的嚴苛要求,金融核心系統(tǒng)一直是業(yè)內(nèi)公認的最復雜、數(shù)據(jù)最龐大、遷移難度最高的系統(tǒng)之一?;顒右潦迹袊磐ㄔ涸拼笏髷?shù)據(jù)與區(qū)塊鏈部副主任馬鵬瑋作為特邀嘉賓,就金融行業(yè)數(shù)據(jù)庫及應用系統(tǒng)的平穩(wěn)高效遷移分享了觀點。他認為,從數(shù)據(jù)庫遷移的實施工具來看,需要包含在線遷移、旁路遷移、增量遷移等多項功能,也包含一體化、高性能、特殊場景遷移、系統(tǒng)畫像能力等能力和特性。但是,考察遷移工具最核心的價值點,主要是減少人工干預的易用性和適配大多數(shù)現(xiàn)有技術路線的開放性。他預計預計隨著遷移工具的易用性和開放性競爭,會讓遷移工具逐步收斂,變成只有三到四種方案,而遷移工具也會更加通用化。
由于傳統(tǒng)技術架構(gòu)存在著諸多瓶頸,加之新技術帶來的持續(xù)業(yè)務創(chuàng)新,金融行業(yè)向數(shù)字化、分布式轉(zhuǎn)型已成為必然趨勢。對此,騰訊云資深數(shù)據(jù)庫專家田清波詳細解析了某商業(yè)銀行核心系統(tǒng)分布式改造的案例。
該核心系統(tǒng)以關系型數(shù)據(jù)庫Oracle等傳統(tǒng)集中式數(shù)據(jù)庫為主,MySQL、PostgreSQL等為輔。這一架構(gòu)軟件層存在較大的依賴性,且維護成本高,創(chuàng)新能力受到底層服務框架的極大制約。而且由于核心系統(tǒng)的建設與遷移涉及到許多歷史系統(tǒng)和核心會計賬簿,加之銀行業(yè)務每天同時還在高速發(fā)展所以遷移過程必須實現(xiàn)客戶零感知、體驗零受損且靈活且富有彈性。
他介紹,大型銀行因為多IDC部署,需要做多地多活、風險容災,單元化可以實現(xiàn)“故障域可控”、“流量自包含”的可隔離;突破基礎設施限制的易擴展;支持灰度發(fā)布、流量靈活調(diào)控的促敏捷以及多地多活的高可控。中小銀行如果只是單個IDC數(shù)據(jù)存儲,賬戶數(shù)較少,采用微服務架構(gòu)性價比更高,架構(gòu)管理也更為簡單。在本項目中,通過單元化遷移模式,實現(xiàn)了信用卡系統(tǒng)支持10億級交易賬戶和 10億級日交易量的目標,基于全球首創(chuàng)的交易不中斷切換模式,保障了快捷、順暢的支付體驗。同時在成本方面,根據(jù)實際的測算,以5年為周期,新核心系統(tǒng)相比老系統(tǒng)成本節(jié)約近70%,節(jié)省費用超10億。
針對專有云的應用,騰訊專有云領域?qū)<覐垥杂钜阅炽y行為例,介紹了使用3AZ部署架構(gòu)實現(xiàn)的同城多活全棧私有云平臺的實踐。張曉宇認為,銀行客戶在建設信創(chuàng)基礎設施時,最關注的需求包括一云多芯,即提供混合部署與調(diào)度能力,按需在同一個云內(nèi)投放CPU、操作系統(tǒng)、數(shù)據(jù)庫等多種類型架構(gòu)的云資源池,包括海光、鯤鵬、飛騰、X86資源等;其次需要關注的是一體化管理,即通過一體化的云管理平臺來整合銀行正在使用的不同類型云平臺及產(chǎn)品,讓IaaS及PaaS產(chǎn)品之間深度融合及配置聯(lián)動,避免傳統(tǒng)私有云的多個產(chǎn)品之間的管理、維護的割裂;再次是統(tǒng)一調(diào)度和運維,實現(xiàn)計算資源池、存儲資源池、數(shù)據(jù)庫資源池超大池化,用以快速、動態(tài)地整合與調(diào)度分配資源,同時內(nèi)置各云產(chǎn)品的日常監(jiān)控、故障處理、擴縮容、版本升級等產(chǎn)品化能力;最后是高可用。對RPO、RTO要求極高,需要容災能力強、未來能夠支持擴展為多地域的架構(gòu),目前,通過3AZ架構(gòu),騰訊專有云TCE可以做到RPO=0,RTO分鐘級。
借助騰訊云全棧云平臺TCE以及云原生敏捷PaaS平臺TCS,該銀行客戶可以實現(xiàn)用戶態(tài)的多AZ集群,能夠解決雙AZ下的自動切換問題,同時,存儲/數(shù)據(jù)庫在采取1+1+1副本部署之后,能力更優(yōu)而且成本更低,平臺基本可實現(xiàn)AZ級故障時的免切能力,僅少數(shù)產(chǎn)品場景下需要人工介入。
騰訊專有云云原生基礎設施負責人陳俊帶來了TCE 支撐銀行系統(tǒng)橫向擴容及統(tǒng)一池化服務的分享?;诮鹑诳萍驾敵龅膽?zhàn)略背景,某銀行啟動了行業(yè)領先的生態(tài)云平臺建設工作,希望建立和完善大數(shù)據(jù)云技術能力和服務體系,更好地服務銀行業(yè)務發(fā)展和金融科技轉(zhuǎn)型。因此需要云平臺架構(gòu)支持云原生多租戶,統(tǒng)一彈性資源池,完全面向用戶的自服務能力;在技術能力上,要求以云平臺為核心,結(jié)合云大數(shù)據(jù)處理能力,讓數(shù)據(jù)通過云無縫流動引領新的業(yè)務方向。
騰訊云通過全棧云平臺TCE同城高可用容災管理組件以及云原生技術棧,包括建立與完善大數(shù)據(jù)云技術能力與服務體系,這其中包括多租戶、彈性資源等四項對外服務能力和數(shù)據(jù)獲取、處理等四個重點技術方向等。還針對行內(nèi)采購的多朵 TCE 云,可能對行內(nèi)內(nèi)部多個業(yè)務部門使用不便利的隱憂,開發(fā)多云管理平臺,統(tǒng)一對接 TCE 標準化外部登錄與權限系統(tǒng),使對外體驗一致。
該項目上線后在效果上實現(xiàn)了規(guī)模上量和降本增效,當前規(guī)模已達到 10+朵云,15+個數(shù)據(jù)中心,50K+ 設備規(guī)模上量,同時涵蓋各類異構(gòu)硬件;向上賦能各子行業(yè),每年數(shù)億成本節(jié)省以及營收。
騰訊云高級大數(shù)據(jù)架構(gòu)師楊文龍以某股份制銀行與騰訊云達成的大數(shù)據(jù)聯(lián)合創(chuàng)新項目為例,詳細介紹了云原生大數(shù)據(jù)工具實現(xiàn)存量平臺快速遷移及升級實踐。該項目目標是驗證在國產(chǎn)化軟硬件條件下,存算分離的云原生數(shù)據(jù)湖架構(gòu)是否可以支撐銀行未來3-5年的數(shù)字化發(fā)展,是否比原來的架構(gòu)更具彈性、性能更好、總體擁有成本更低。
在本項目中,針對大數(shù)據(jù)組件多、國產(chǎn)化適配困難,Hadoop體系與MPP體系無法打通融合計算,搬遷成本高等難題,騰訊云攜手對方技術團隊,基于騰訊云TBDS大數(shù)據(jù)平臺及其相關工具組件,創(chuàng)新性地運用Alluxio、Iceberg、Presto、Spark、Flink、SuperSQL等新興大數(shù)據(jù)能力組件構(gòu)建起物理存儲、容器計算的新一代國產(chǎn)化存算分離數(shù)據(jù)湖架構(gòu),并且借助Alluxio加速層對Presto的查詢過程進一步優(yōu)化實現(xiàn)數(shù)倍性能提升。
以某基金項目為例,該客戶原有CDH大數(shù)據(jù)平臺架構(gòu)老舊,存算組件功能及性能難以滿足業(yè)務需求,同時內(nèi)部多源異構(gòu)數(shù)據(jù)未形成統(tǒng)一歸集庫,急需實現(xiàn)大數(shù)據(jù)基礎設施全信創(chuàng)化,替換現(xiàn)有平臺。借助騰訊云TBDS大數(shù)據(jù)平臺及WeData一站式數(shù)據(jù)開發(fā)平臺等組件打造的新平臺,通過WeData敏捷數(shù)據(jù)集成開發(fā)能力,有效打破內(nèi)部數(shù)據(jù)孤島,匯聚全域數(shù)據(jù),提升開發(fā)效率。融合TBDS互聯(lián)網(wǎng)基因開源組件增強能力,提升存算性能,跑批時間由7個小時縮減到3個小時內(nèi),3個月實現(xiàn)了CDH數(shù)據(jù)平滑遷移,滿足自主可控需求,同時支持營銷中臺及TA系統(tǒng)大批量核算,快速變現(xiàn)數(shù)據(jù)價值。
針對備受行業(yè)關注的CentOS停服事件,騰訊TencentOS產(chǎn)品架構(gòu)師杜震給出了基于TencentOS的應對方法和具體實操詳解。在停服后,客戶面臨生產(chǎn)環(huán)境安全風險激增,系統(tǒng)運維難度增加,最主要的是業(yè)務軟件對OS的一些特殊需求更加難以滿足。對此,騰訊云的應對方式是建議客戶將業(yè)務從CentOS遷移到TencentOS Server上面來。TencentOS Server的內(nèi)核基于社區(qū) LTS獨立演進全面優(yōu)化,同時TencentOS Server用戶態(tài)與CentOS同源兼容。從兼容性、穩(wěn)定性和性能三個方面實現(xiàn)完美替代:宕機率低70%+,典型場景性能高50%+。
該國有大行攜手騰訊云,基于TencentOS,逐步把核心系統(tǒng)遷移到新系統(tǒng)上,涉及基礎硬件、操作系統(tǒng)、中間件、數(shù)據(jù)庫、云平臺5個核心模塊,日均交易量超過1 億筆。
值得一提的是,隨后的“動手實驗室”活動環(huán)節(jié)還進行了國產(chǎn)化系統(tǒng)的現(xiàn)場實操實驗。騰訊TencentOS 產(chǎn)品架構(gòu)師杜震作為該環(huán)節(jié)主持人,基于“離線任務絕對搶占”“離線壓制水位線”“網(wǎng)絡帶寬優(yōu)先級搶占”等三個在/離線混部高性能功能實驗case,展示了TencentOS RUE 內(nèi)核的優(yōu)異特性,帶領現(xiàn)場的開發(fā)者們進行了一堂極具實操價值的公開實踐課。
未來,騰訊云將繼續(xù)通過Techo Day平臺與廣大開發(fā)者攜手,以真實行業(yè)數(shù)字化轉(zhuǎn)型升級的核心痛點為抓手,全面分享騰訊云在助力客戶打造國產(chǎn)化信息系統(tǒng)過程中的實踐和經(jīng)驗,為相關從業(yè)者提供更多有價值的案例和參考。