自從《經濟學人》將數據類比為21世紀的石油以來,數據的重要性已經無需過多贅述。
數據顯示,自2017年的2.3ZB起,我國數據產量在短短四年間增長至2021年的6.6ZB,占據全球數據產量的9.9%,躍居世界第二。數據已經成為繼土地、勞動力、資本、技術之後的第五大生產要素。
數據帶來的是巨大的潛力和機遇,但同時也帶來了一系列挑戰。今年3月,國務院關於提請審議國務院機構改革方案的議案組建國家數據局,國家數據局的設立對於激活數據要素潛能、發揮數字經濟對經濟社會的基礎性作用而言是非常重要和必要的。
而且現在企業中的數據也處在一個複雜的環境中,數據的利用就需要變成混合的應用,Cloudera的混合數據平台則可以很好地支持現代的數據架構。
混合數據為企業帶來的價值
Cloudera(肯睿)是一家專注於混合數據的公司,提供適用於數據編織、湖倉一體、數據網格和未來數據生態系統架構要求的混合數據平台的混合數據平台,允許客戶在多個公共和私有雲以及本地訪問和分析數據。而且Cloudera從2019年連續4年被Gartner評為雲資料庫管理系統(DBMS)魔力象限領導者,其能力包括:
面向域的分布式數據產品,由擁有嵌入式數據工程師和數據產品所有者的獨立跨職能團隊擁有,使用通用數據基礎設施作為平台來託管、準備和服務其數據資產。
集成和統一數據倉庫和數據湖的功能,旨在支持同一數據集上的 AI、BI、ML 和數據工程(「多功能分析」)
以自助服務的方式智能、安全地動態編排不同的數據源,利用數據平台提供集成的可信數據,以支持各種應用程序、分析和其他工作負載
混合雲和多云:跨所有環境的一致體驗
Cloudera大中華區區域副總裁王剛表示,Cloudera可以實現開放數據編織、湖倉一體和數據網格可在任何地方提供大規模數據、多雲和本地數據管理和分析、「一次編寫,隨處運行」的數據分析可移植性、使用開放的雲原生存儲格式統一安全和治理。
「在混合的環境下,企業的一個思路就是集中化的管控,也就是建設數據倉庫。雖然這理論正確,但是現在出現了一個新的思路,就是數據網格和數據編織。」Cloudera大中華區技術總監劉隸放說道。
企業在AI應用上會遇到,確定如何開發模型解決常見業務問題;僵化、單一的數據科學平台無法適應不斷變化的需求;數據專家與業務用戶脫節三個挑戰。
企業可以使用Cloudera的ML來搭建AI應用,為常見的業務問題預先建立只需點擊一下即可加快開發速度的原型、為數據專家提供豐富的工具,打造靈活的機器學習環境、通過交互式數據應用建立一座將機器學習結果傳達給企業主的「橋樑」。
Cloudera一直不斷在平台和分析領域進行創新,實現跨多個雲和數據中的混合平台,是唯一通過SDX安全和治理實現一體化體驗的產品,覆蓋了從數據專家到數據分析師等各類用戶的協作式和一體化商業智能與增強功能。
守正與創新共生互補
Cloudera在過去一兩年,CDP的客戶遷移比例正在逐漸增高。同時為了解決現代數據分發和實時流處理的挑戰,Cloudera也新增了對Data-in-Motion動態數據的支持,包括三個組件。
DATAFLOW:通過Apache NiFi, 讓開發人員可以連接任何地方、數據源、結構類型的數據,處理加工並交付到任何地方,通過一種低代碼的授權體驗。
STREAM PROCESSING:通過Apache Flink and Kafka, 提供一個完整的企業級的數據流管理,通過提供例如SQL這樣行業標準的界面,讓開發人員,數據分析師和數據科學家可以輕鬆的搭建不同的實時的混合雲應用。
CLOUDERA SDX:通過Apache Ranger & Apache Atlas工具讓數據流安全可控,監控和得到有效治理。
「在其上我們做了很多企業級產品的管理和支持。」劉隸放指出,Cloudera的Data-in-Motion動態數據的強大之處在於,可以通過DataFlow & Stream Processing實現數據快速移動。
Cloudera Data-in-Motion在速度上,實現快速的數據攝取、快速的數據處理,實現便捷的全量數據分析洞察。在障礙上,打破數據攝取的豎井簡化開發,測試和部署降低運營複雜性。在成本上,一個解決方案消除數據移動的複製團隊工作效率更高。
未來Cloudera也將在三個方向增加投入。
PVC DS - Data Service 私有雲數據服務:新應用實現內置工作負載隔離、價值實現時間加快10倍、數據中心基礎設施減少約50%、按應用自主升級、重新設計的管理和用戶體驗。現有應用實現存儲和SDX位於同一位置,統一的安全策略管理、查詢性能最高提高5倍。
支持Iceberg版本:實現開放的湖倉一體架構,讓湖倉一體集成並統一數據倉庫和數據湖的功能,可以在單一平台上支持AI、BI、ML和數據工程。
對象存儲組件Ozone:可以在本地的存儲上,通過對對象存儲的支持,進一步提升在私有雲,和雲原生的支撐能力。
劉隸放談到,過去的兩三年我們很重要的任務是CDP的升級,未來我們更多要做的是對雲原生的支持、Iceberg的湖倉一體架構、存儲突破。