「技術創新背後是宏大的歷史背景。中國蓬勃發展的數字經濟帶來自主創新的歷史機遇,資料庫是數字經濟發展的底座和基石,雲和恩墨抓住產業機遇,實現中國創造。」——雲和恩墨創始人兼總經理、鯤鵬MVP蓋國強
國際和國內環境的變化讓我國資訊產業自主創新更具時代意義,而基礎軟體的國產化是重點,資料庫則又是重中之重。
資料庫領域又以openGauss開源社區為典型代表,其打造了一個高性能、高安全、高可靠、高智能的開源資料庫產品以及蓬勃發展的生態體系。
近日,openGauss Summit 2023在京成功召開,在主題為「耕穫菑畬,創變未來」的雲和恩墨資料庫技術創新與應用實踐分論壇上,雲和恩墨分享了他們對於資料庫產業的思考和實踐。
持續技術創新,打造讓用戶真正用起來的產品
作為openGauss社區的首批理事單位之一,雲和恩墨以其在商業資料庫領域的深厚積累而著稱,通過提煉自身的技術儲備和抽象資料庫領域的前沿洞察,雲和恩墨致力於「將商業資料庫的能力帶入社區」,而這一努力的結晶就是MogDB資料庫。
MogDB是雲和恩墨基於openGauss開源核心進行增強提升,推出的一款「安穩易用」的企業級關係型資料庫。
伴隨openGauss三年多的開源歷程、1000多個日夜,MogDB達成了超過1001項優秀品質,這其中包括超過1000項的特性增強和1套一體機解決方案。
1000多個特性增強包括兼容性改進、核心特性增強、可靠性增強等;
1套一體機方案,通過存算分離、多節點並發寫入,結合雲和恩墨的優勢產品zData X和zCloud,能夠為用戶提供了一體化的極致性能、極致易用性的應用體驗。
配合行業客戶的數字化轉型升級步伐,為了讓MogDB在用戶中真正用起來,雲和恩墨還圍繞實際應用場景配備整套工具鏈,方便用戶進行新系統部署或者國產化替代。
雲和恩墨·本原數據技術合伙人、資料庫產品事業部總經理張皖川在演講中介紹說,在替代場景中,MogDB提供了完整的遷移工具鏈,包括兼容性評估、離在線遷移以及最後的數據一致性校驗,形成覆蓋資料庫遷移全生命周期的穩健支持。而在遷移後,MogDB提供包括高可用組件、安裝部署工具和監控圖形化工具等套件幫助用戶實現安全、便捷的資料庫管理。
為簡化用戶因不同應用場景而產生的大量改造工作,雲和恩墨針對不同的應用場景特點和數據類型,推出了多樣化的產品形態和部署模式。比如針對客戶私有雲容器化場景,雲和恩墨推出了容器化部署的產品形態;針對物聯網場景,雲和恩墨在openGauss核心基礎上進行了多模的拓展,開發了時序引擎和超融合時序資料庫Uqbar,打造一站式物聯網數據處理平台。
張皖川表示,經過三年多的研發,MogDB不僅繼承了openGauss「四高」(高性能、高可用、高安全、高智能)特性,同時面向客戶痛點並結合自身對成熟商業資料庫的理解與技術洞察,圍繞極致高可用、高性能密度、兼容能力增強、易用性提升等核心產品價值點,推出了大批創新特性並積極回饋社區。
今年年中,MogDB 6.0將正式推出。張皖川介紹道,新版本將提供全新遷移工具,在效率方面大幅提升——全量數據遷移峰值可達到每小時600GB,並做到不停機;增量遷移實現每秒三萬條;通過採用更高效的校驗算法,校驗效率可以達到一小時500GB,使整個遷移過程更短、更加平滑,同時也支持斷點續傳的能力。
MogDB 6.0還將進一步完善異構資料庫遷移割接長周期雙軌並行,支持Oracle、MySQL等多種異構資料庫到MogDB之間的雙向結構與數據同步。在業務割接期間以及割接後,提供雙軌並行能力,讓異構遷移更安全,用戶更放心。
Oracle兼容性在MogDB 6.0中將獲得大幅增強,形成從上層客戶端工具、驅動協議到底層核心的一套完整的端到端能力,具體表現在:
客戶端工具層面,支持SQLPlus、SQLLoader、Pro*C;
驅動協議層面,大幅增強Python,ODBC、JDBC以及SQL API的兼容性;
語法接口層面,實現包括PLSQL在內的大量的語法適配和功能兼容;
核心層面,實現DDL和DML的行為兼容,DDL會自動提交,DML行為也會表現得跟Oracle完全一致。
「從可見的語法接口到不可見的行為機制,MogDB致力於全面保障業務的平滑遷移和正確運行。」張皖川做了強調。
在查詢優化方面,MogDB 6.0中新增的掃描預讀能力消除了IO延遲,掃描效率等同於全緩存掃描,達成最高2倍提升;哈希算子的優化則利用CPU緩存預取達成3倍加速,哈希連接端到端提升2倍,效率可比肩國外大型商業資料庫。
在架構升級方面,MogDB 6.0將推出資源池化/存算分離的A-A(多活)架構。此架構將在極致高可用(RTO
目前,MogDB正加速在各行業中落地和普及。例如四川天府銀行在現有容器平台上部署MogDB Container (MogDB容器版)集群來承載當前業務,同時配合MogDB集群統一運維管控平台MogDB Stack,形成覆蓋資料庫全生命周期的管理和監控能力;在此基礎上與上層應用對接,構建出一套自主創新的「全棧容器化資料庫管理新模式」,即:容器平台+MogDB container+MogDB Stack+APP container,實現全棧資源的統一調度、分配與管理。
不管是功能更新還是行業實踐,MogDB在兼容性與性能優化方面的持續疊代,彰顯了中國資料庫技術持續突破的蓬勃生命力。
張皖川總結道,驅動創新的關鍵是找到並利用變量因素,比如硬體更新、算法換代、資源模型變更、用戶應用需求拓展等。「硬體革新推動了向量化查詢及無鎖並發等算法換代以提升資源利用率,資源雲化催生了雲原生彈性架構,大模型及用戶應用的多元化推動了多模資料庫的發展和關係型資料庫的能力拓展。」MogDB在資料庫創新的路上讓人充滿期待。
認真看未來,雲和恩墨走了一條與眾不同的道路
圖靈獎獲得者James Gray曾說過,「如果你有眼光,就一定要追求有遠見的研究。儘可能花時間去做自己引以自豪的事情,儘量不做無意義的事情。」
如果著眼於未來,我們能夠洞察多久遠的未來?雲和恩墨創始人兼總經理、鯤鵬MVP蓋國強說,當我們認真看未來的時候,我們真的可以看得很遠。
雲和恩墨投身到openGauss生態裡面,融合學術和產業積累,深入資料庫領域,做讓自己自豪的事情。
例如雲和恩墨的智能算法團隊正在進行智能化相關探索,基於大模型進行DB-GPT訓練,實現基於知識庫體系的智能問答,並通過開放API和外部應用對接,滿足資料庫運維、DBA診斷等工作需要。而基於MogDB知識庫訓練的DB-GPT實踐,能夠解答關於資料庫特性的具體問題,而不需要翻閱文檔。
蓋國強表示,AI和大模型,智能化和資料庫,我們需要在精確性和模糊性之間尋找平衡。大模型智能代理(LLM Agent)能夠持續助力提高問答精準性。例如,提供精確證據(Precise Evidence)是一種有效的方法;其次,引入外部知識庫進行資訊補充或確認也是一種可行的方式。
傳統情形下,數據是以存儲為中心的,而非面向用途。存儲模型決定了數據如何被使用。而當模型更換時,模型之間的巨大差異可能導致之前的工作需要推倒重來。那麼有沒有更好的方法,能讓開發者聲明數據使用的意圖而非數據存儲的格式,然後讓資料庫根據應用場景生成匹配的數據格式和API?
數據意圖語言(DIL,Data Intent Language)應運而生,用來描述數據的用途和格式,可以轉變數據應用模式。SQL域是一種屬於模式的字典對象,它封裝了一組可選屬性和約束,用於常見值。SQL域提供約束、顯示、排序和注釋屬性。在定義一個SQL域之後,你可以定義與該域關聯的表列,從而顯式地將該域的可選屬性和約束應用於這些列。因此,SQL域用於向存儲的列(JSON或關係型)提供附加資訊,並因此用於定義和驗證數據。
受此啟發,雲和恩墨在資料庫的可觀測性、自動化運維、智能運維等方面進行了增強,將自身對於行業的洞察、理解和來自於用戶的需求變成產品力。例如MogDB內置了時間模型,支持活動會話輸出的負載模型;基於zCloud實現的MogDB運行監控可視化,支持實時預警,將可觀測性提升到和國外大型商業數據相當的能力水平;在自治智能方面,基於故障樹的智能診斷和基於機器學習的智能基線,實現從簡化運維到DBAless。
在公司發展模式上,蓋國強談到,雲和恩墨走了一條與眾不同的道路。從資料庫管理服務切入,擴展到資料庫管理軟體,進而打造核心產品MogDB,然後圍繞MogDB構建完整的生態矩陣。
目前,雲和恩墨與硬體/整機、雲基礎架構、晶片、作業系統、中間件、備份存儲、應用軟體廠商展開廣泛的生態合作,公司多款產品陸續完成與眾合作夥伴產品的兼容適配,為客戶構建全方位的解決方案。在分論壇現場,雲和恩墨與百信完成戰略合作簽約,並推出全棧國產資料庫一體機解決方案。
「未來的世界是智能世界,智能世界的驅動力是數據。我們將自己定位成智能的數據技術提供商,助力用戶實現數據驅動的智能未來。在這個願景下,雲和恩墨正在加倍努力,一步一步將智能的數據技術帶到我們的產品中來,助力用戶數字化建設和智能化演進。」蓋國強最後說。