12月15日,國內(nèi)領先的自動化數(shù)據(jù)管理軟件提供商 Aloudata(大應科技)在線舉辦了「NoETL!重構(gòu)數(shù)據(jù)生產(chǎn)力」戰(zhàn)略與產(chǎn)品發(fā)布會,Aloudata CEO 周衛(wèi)林攜創(chuàng)始團隊正式發(fā)布面向未來的 NoETL 數(shù)據(jù)工程架構(gòu),并發(fā)布 Aloudata AIR 邏輯數(shù)據(jù)平臺、Aloudata BIG 主動元數(shù)據(jù)平臺和 Aloudata CAN 自動化指標平臺三款顛覆性創(chuàng)新產(chǎn)品,為企業(yè)解決數(shù)字化轉(zhuǎn)型中的難點、痛點提供了全新的思路與方案,并為 Data Fabric 數(shù)據(jù)架構(gòu)理念在國內(nèi)的實踐落地開辟了清晰的路徑?;顒舆€特別邀請了招商銀行總行數(shù)據(jù)智能平臺負責人張軍軍,分享了招商銀行敏捷數(shù)據(jù)分析實踐與對未來趨勢的展望。 隨著數(shù)智化深入各行各業(yè),用數(shù)需求、用數(shù)人群和數(shù)據(jù)源同時爆炸性增長,這給企業(yè)的數(shù)據(jù)工程效率、成本與數(shù)據(jù)的有序管理帶來了巨大挑戰(zhàn),周衛(wèi)林將傳統(tǒng) ETL 工程的痛點歸納為“ETL 鴻溝”。如何跨越鴻溝,實現(xiàn)數(shù)據(jù)生產(chǎn)力的百倍提升,數(shù)據(jù)管理亟需新思維、新架構(gòu)和新技術。Aloudata 開創(chuàng)性地提出了通過自動化手段消除人工 ETL 的數(shù)據(jù)工程新范式,這便是“ NoETL ”理念。 NoETL 的核心在于轉(zhuǎn)變數(shù)據(jù)生產(chǎn)的驅(qū)動力。傳統(tǒng) ETL 是由 ETL 工程師驅(qū)動,而 NoETL 則由 ETL 智能體(ETL Agent)驅(qū)動,相當于為每個企業(yè)提供一批 7 x 24 小時持續(xù)在線的 ETL 專家,從而實現(xiàn) ETL 任務的“自動駕駛”。NoETL 與近年關注度持續(xù)走高的 Data Fabric 架構(gòu)理念高度一致,旨在減少或者消除傳統(tǒng)基于人工的 ETL 作業(yè),通過數(shù)據(jù)管理過程的高度自動化,實現(xiàn)更加高效的數(shù)據(jù)交付、使用與治理,重構(gòu)數(shù)據(jù)生產(chǎn)力。Aloudata NoETL 數(shù)據(jù)工程架構(gòu)主要有 4 大特性: 1.No Pipelines:去管道,無需關心數(shù)據(jù)位置; 2.No Tasks:免運維,無需操心任務運維; 3.No Cubes:自優(yōu)化,無需擔心查詢性能; 4.Active MetaData:從被動到主動,實現(xiàn)數(shù)據(jù)管理的“自動駕駛”。 依托 NoETL 數(shù)據(jù)工程架構(gòu)思想,Aloudata 實現(xiàn)了三項核心技術突破:數(shù)據(jù)虛擬化引擎、數(shù)據(jù)語義引擎與主動元數(shù)據(jù)引擎,它們帶來了全新的數(shù)據(jù)集成方案、全新的數(shù)據(jù)交互界面和全新的數(shù)據(jù)管理模式,這三大技術能力構(gòu)成了 Aloudata 產(chǎn)品體系的基石。 Aloudata CPO 肖裕洪介紹了 Aloudata AIR——國內(nèi)首個 Data Fabric 邏輯數(shù)據(jù)平臺。它通過數(shù)據(jù)虛擬化引擎、AI 增強策略引擎和主動元數(shù)據(jù)引擎,實現(xiàn)了多源異構(gòu)數(shù)據(jù)的邏輯集成與整合、自適應數(shù)據(jù)加速、自動化數(shù)據(jù)鏈路編排、集中數(shù)據(jù)治理管控等功能,幫助企業(yè)輕松打通數(shù)據(jù)孤島,10 倍提升數(shù)據(jù)交付效率,并實現(xiàn) 50% 以上的存算成本節(jié)約。Aloudata AIR 敏捷數(shù)據(jù)準備解決方案已在招商銀行落地驗證,實現(xiàn)了全域數(shù)據(jù)的統(tǒng)一訪問和管理,顯著提升了業(yè)務效率和數(shù)據(jù)管理的靈活性,同時大幅降低存算成本與 ETL 團隊負擔。 Aloudata CTO 周泉介紹了 Aloudata BIG——全球首個實現(xiàn)算子級血緣解析的主動元數(shù)據(jù)平臺。借助精細、準確、全面的血緣解析能力和主動元數(shù)據(jù)管理能力,Aloudata BIG 能夠完善解決企業(yè)數(shù)據(jù)管理中“看不清”、“管不住”的難點,讓數(shù)據(jù)管理過程更加自動化,輕松應對 EB 級別的大數(shù)據(jù)管理需求。Aloudata BIG 基于語義分析技術實現(xiàn)對 SQL 腳本的算子級自動解析和算子級血緣圖譜構(gòu)建,實現(xiàn)了對全域字段計算語義的精準刻畫,并基于對元數(shù)據(jù)的深入分析和挖掘,為用戶提供高置信的建議或設計方案。Aloudata BIG 已在多家大型銀行獲得驗證,幫助客戶快速定位鏈路異常,百倍提效模型治理,實現(xiàn)高效、可靠的全鏈路數(shù)據(jù)質(zhì)量保障。 在數(shù)據(jù)集成、整合之上,企業(yè)在實際用數(shù)中也常常面臨著指標管理的困境:指標口徑混亂、交付效率慢、重復開發(fā)成本高、維度不靈活、解釋困難等。針對上述問題,Aloudata 首席業(yè)務架構(gòu)師杜雪芳介紹了應用 Headless BI 理念設計的 Aloudata CAN 自動化指標平臺。該產(chǎn)品通過獨立的指標語義層實現(xiàn)指標的一次定義、多處使用,真正實現(xiàn)指標的“定義即生產(chǎn)”和“管用一體”。在某證券行業(yè)客戶的案例中,Aloudata CAN 完美解決了業(yè)務指標口徑不一致的問題,指標開發(fā)周期從周縮短到分鐘級,同時實現(xiàn)了統(tǒng)一數(shù)據(jù)資產(chǎn)的沉淀,形成了自上而下統(tǒng)一的用數(shù)語言。 這三大產(chǎn)品作為 NoETL 架構(gòu)的具體實現(xiàn),共同構(gòu)成了 Aloudata 數(shù)據(jù)工程與管理“自動駕駛”解決方案。周衛(wèi)林強調(diào),作為一家以“NoETL 重塑數(shù)據(jù)生產(chǎn)力”為信念的公司,Aloudata 的初心和使命是讓數(shù)據(jù)隨時就緒、隨需而用。 招商銀行作為中國數(shù)字化轉(zhuǎn)型領軍企業(yè)之一,認為通過數(shù)據(jù)洞察提升管理和營銷的精準度,讓經(jīng)營和服務變得精細化和個性化,是參與下一階段數(shù)字化銀行業(yè)務競爭的核動力。經(jīng)過多年的探索,招商銀行數(shù)字化技術與業(yè)務場景的融合逐漸進入了深水區(qū),業(yè)務需求的靈活性給數(shù)據(jù)模型帶來了空間和時間復雜度的新挑戰(zhàn),主要表現(xiàn)在報表查詢和自助分析的響應速度、總分機構(gòu)之間的數(shù)據(jù)交付效率、數(shù)據(jù)同步和共享時的語義一致性問題等方面。張軍軍介紹了招行商業(yè)智能團隊攜手 Aloudata 為應對上述挑戰(zhàn),共同探索實踐的敏捷用數(shù)解決方案。該方案通過自助化的數(shù)據(jù)探索/準備工具和海量數(shù)據(jù)自適應加速引擎,實現(xiàn)數(shù)據(jù)需求交付模式的創(chuàng)新,并為海量數(shù)據(jù)分析提供了新思路。同時,業(yè)務化的“數(shù)據(jù)集/指標”支持跨 BI 工具、跨總分機構(gòu)、跨業(yè)務條線的復用,有效推進企業(yè)級業(yè)務邏輯的沉淀和使用的一致性。 張軍軍介紹說,招商銀行已經(jīng)實踐了一套 Data Fabric 敏捷數(shù)據(jù)服務體系,以數(shù)據(jù)虛擬化引擎為基礎,連接多源異構(gòu)數(shù)據(jù)源;在此基礎上,提供數(shù)據(jù)準備、分析和報表制作等工具;面向用戶提供統(tǒng)一的數(shù)據(jù)語義服務,既能快速交付數(shù)據(jù),又實現(xiàn)語義的共享。面向未來,招商銀行將繼續(xù)攜手 Aloudata 探索數(shù)據(jù)分析的智能化路徑,推動業(yè)務從自助式用數(shù)向智能化用數(shù)的升級。 本次發(fā)布會 Aloudata 全面展示的 NoETL 驅(qū)動的數(shù)據(jù)工程架構(gòu),依托于公司團隊 20 年的大數(shù)據(jù)技術實踐積累,并通過三款產(chǎn)品的商業(yè)化落地,在國內(nèi)率先實現(xiàn)了 Data Fabric 的最佳實踐。Data Fabric 被 Gartner 列為 2022 年十大戰(zhàn)略趨勢技術之首,被國際公認為解決超大規(guī)模數(shù)據(jù)管理問題、充分釋放數(shù)據(jù)價值的趨勢方案。但該技術體系因在國內(nèi)市場尚未形成清晰的認知,一度落地路徑不夠明確。Aloudata 的產(chǎn)品與商業(yè)成績代表著整個 Data Fabric 細分領域在國內(nèi)最前沿的進展,也為中國企業(yè)數(shù)智化建設未來 5 年的發(fā)展提供了實踐經(jīng)驗和建設目標。 企業(yè)數(shù)智化運營的浪潮催生了更嚴峻的數(shù)據(jù)管理挑戰(zhàn),面對更復雜行業(yè)場景,作為面向未來的 Data Fabric 數(shù)據(jù)架構(gòu)理念的引領者,Aloudata 將憑借先進的架構(gòu)思想和技術優(yōu)勢,加速釋放企業(yè)數(shù)據(jù)潛能,為整個行業(yè)的數(shù)據(jù)管理帶來深刻的變革。
關于 Aloudata Aloudata(大應科技)是一家自動化數(shù)據(jù)管理軟件提供商,國內(nèi) Data Fabric 架構(gòu)理念引領者,以“讓數(shù)據(jù)隨時就緒”為使命,致力于消除數(shù)據(jù)管理技術瓶頸,提升 ETL 工程自動化水平,助力企業(yè)平滑升級至下一代大數(shù)據(jù)基礎設施。 Aloudata 自主研發(fā)的 Aloudata AIR 邏輯數(shù)據(jù)平臺支持異構(gòu)數(shù)據(jù)的邏輯集成、整合與查詢,通過自適應物化加速和自動回收技術,實現(xiàn)秒級查詢響應并節(jié)省 50% 以上的存算成本;Aloudata BIG 主動元數(shù)據(jù)平臺,基于全球獨創(chuàng)的算子級血緣解析技術,讓復雜數(shù)據(jù)鏈路看得清、管得住、治得動,實現(xiàn)更精細更智能的數(shù)據(jù)管理;Aloudata CAN 自動化指標平臺,改變“業(yè)務提需求IT 開發(fā)”的傳統(tǒng)模式,支持業(yè)務人員從任意顆粒度、任何維度靈活分析指標,實現(xiàn)指標“定義即開發(fā)、定義即服務”。 |