作者 | 趙曉勤
來源 | 至頂網
「複雜性是不可避免的,複雜性隨時都會出現,你需要考慮如何管理複雜性。」這是亞馬遜副總裁兼 CTO Werner Vogels 在 re:Invent 2024 大會上對當今越發複雜的 IT 世界發出的感慨與警告。
Werner Vogels 無疑是一位傳奇人物。他掌舵著亞馬遜雲科技全球最大分布式電腦系統之一已有二十載,他對複雜性的理解無人能出其右。在他看來,亞馬遜雲科技是一家提供「簡單」服務為宗旨的高科技公司。比如雲對象存儲起源於 S3 或稱作「簡單存儲服務」、Amazon SQS 是「簡單隊列服務」,Amazon SES 是一種「簡單電子郵件服務」,而 Amazon SWF 則為開發人員提供「簡單工作流服務」。
在這些看似簡單的服務背後,是極其複雜的底層技術。Vogels 強調,管理複雜性的關鍵在於區分有意和無意的複雜性。他指出:「如果不這樣做,系統很快就會從靈活變得脆弱。」
資料庫領域面臨著同樣的挑戰。隨著網際網路的快速發展,應用程序的用戶規模和地理分布日益擴大,企業對資料庫性能和延遲的要求也水漲船高。傳統的資料庫架構在面對這些新需求時顯得力不從心,用戶不得不在 Consistency(一致性)、Availability(可用性)和 Partition Tolerance(分區容錯性)之間做出艱難的選擇。你很容易實現任何兩個條件,但是要同時具備這三個特性就變得「不可能」,這就是資料庫架構著名的 CAP 「不可能三角」。
1.打破「不可能」,Amazon 資料庫的兼得之道
re:Invent 2024 大會上披露了兩款資料庫:關係型資料庫 Amazon Aurora DSQL 和非關係型資料庫 Amazon DynamoDB Global Tables。一舉打破了這個「不可能三角」,成為兼顧高可用性、低延遲和強一致性的資料庫。
亞馬遜雲科技的關係型資料庫從 2009 年至今已經過了 15 年的疊代,Amazon Aurora DSQL 作為 Amazon Aurora 新一代產品,是一款速度極快的分布式 SQL 資料庫。具備以下特點:跨區域強一致性和低延遲。Amazon Aurora DSQL 採用了一種全新的事務處理方式,將事務處理與存儲層分離,並在所有區域同時並行進行寫入操作,從而實現了跨區域的強一致性和低延遲。
Amazon Aurora DSQL 提供了五個 9 的高可用性(99.999%),確保應用程序始終在線。
採用無伺服器設計,無需進行基礎設施管理,可自動擴展和縮減,甚至可以縮減到零規模,並且能與 PostgreSQL 兼容,便於用戶快速上手。
在性能方面也毫不遜色,根據亞馬遜雲科技的基準測試,在多區域配置下,Amazon Aurora DSQL 的讀寫速度比 Google Spanner 快 4 倍。
Amazon Aurora DSQL 之所以能夠取得如此優異的特性,主要得益於兩項核心創新:分布式的架構以及 Amazon Time Sync Service 技術。Vogels 介紹,Amazon Aurora DSQL 將資料庫分解為多個獨立的構建模塊,每個模塊都具有高內聚性和低耦合性,可以獨立擴展和定製安全性,從而實現更高的性能和靈活性。
但隨之而來的是數據一致性和時鐘同步等難題。如何保證分布在全球各地的資料庫節點能夠按照統一的時間順序處理事務,成為橫亘在技術面前的一道鴻溝。Vogels 的團隊為全球每個 Amazon EC2 實例中添加與原子鐘同步的硬體參考時鐘,實現了微秒級的精準時間同步,解決了時鐘漂移問題。
同樣,這種多區域、強一致性和低延遲的能力並不局限於關係型資料庫,Amazon DynamoDB global tables 也將獲得同樣的功能。同時,Amazon DynamoDB global tables 可應用於各種用例,包括書籤、觀看列表和個性化推薦。
2.用 AI 化繁為簡,賦能未來
降低複雜性的重要手段是從本質上將複雜性分解成簡單的單元。將新系統的設計儘可能包含可預測性,以消除不確定性。Vogels 認為,「這需要就自動化以及如何利用自主技術來降低複雜性做出決定。」
毫無疑問,只有通過 AI、機器學習,將企業存儲在關係型資料庫以及非關係型資料庫中的數據加以利用並喚醒,才能儘可能地消除企業面臨的複雜競爭環境。
為此亞馬遜雲科技推出了新一代 Amazon SageMaker AI,試圖打造一個 「All in One」 的機器學習平台,整合大數據分析、機器學習和生成式 AI 的關鍵功能,降低 AI 開發門檻,加速 AI 應用落地。
Amazon SageMaker AI 的發布並非簡單的功能堆砌,而是基於多年來服務數百萬客戶積累的經驗和對機器學習發展趨勢的深刻洞察,旨在喚醒企業沉澱多年的歷史數據、解決機器學習領域的核心痛點,推動 AI 民主化的進程,讓企業在 AI 訓練上沒有難題。
Amazon SageMaker HyperPod flexible training plans 靈活訓練計劃:告別繁瑣的資源管理,讓開發者專注於模型本身。通過定義計算需求和訓練時間框架,HyperPod 可以自動預留容量、設置集群、創建模型訓練作業,並利用高效的檢查點和恢復功能,在容量動態變化的情況下自動處理實例中斷,無需手動干預,將數據科學團隊從繁重的資源管理工作中解放出來。
Amazon SageMaker HyperPod task governance 任務治理功能:解決計算資源有限和昂貴的問題。通過自動化優先級排序和資源管理,HyperPod 任務治理功能可以將跨項目加速計算利用率提高到 90% 以上,並通過動態資源分配和實時洞察,最大限度地降低成本,提高效率。
Amazon SageMaker 合作夥伴 AI 應用支持功能(Al apps from AWS partners now available in Amazon SageMaker):打破生態壁壘,構建開放共贏的 AI 生態系統。通過與 Comet Deep、Jax、Fiddler 和 Lakhera 等領先的 AI 合作夥伴集成,Amazon SageMaker 為客戶提供了更豐富的工具和解決方案,涵蓋模型訓練、評估、監控、安全等各個環節,並通過無縫、完全託管的體驗,簡化了應用程序集成和部署流程,保障了數據安全和隱私。
3.數據是源泉,AI 是未來
正如亞馬遜雲科技 CEO Matt Garman 所言,「人工智慧是一場沒有終點的競賽。」而這場競賽中,數據是核心,企業需要圍繞數據的存儲、分析、洞察不斷改進企業的 IT 架構。
從 Data Rady 到 AI Rady ,亞馬遜雲科技正扮演著「造夢者」的角色,為我們提供了強大的平台與工具,讓我們可以更加「簡單地」構建和部署 AI 應用,將夢想變為現實。相信在不久的將來,我們將看到更多由 AI 驅動的創新應用湧現,深刻地改變著我們的生活和世界。
*前述特定亞馬遜雲科技生成式人工智慧相關的服務僅在亞馬遜雲科技海外區域可用,亞馬遜雲科技中國僅為幫助您發展海外業務和/或了解行業前沿技術選擇推薦該服務。