宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

AWS發布開源Rust客戶端Mountpoint的預覽版

2023年03月16日 首頁 » 熱門科技

AWS已正式發布Mountpoint,一套用於Linux系統的開源客戶端,能使用文件API接入S3存儲,幫助應用程序像在文件系統中遍歷S3文件。請注意,Mountpoint並非針對常規用例所設計,而是專門的數據分析客戶端。AWS此前曾介紹稱,「使用Mountpoint,文件操作將被映射至指向S3的GET和PUT操作,無需任何代碼更改即可將基於文件系統的吞吐量擴展至每秒TB級別。」

AWS發布開源Rust客戶端Mountpoint的預覽版
Mountpoint演示

但其中也有一些限制。首先,預覽版文件系統目前只能以只讀方式掛載,其他要正式版發布後才能實現。

AWS在關於Mountpoint的論文中解釋道,Mountpoint在設計上故意不提供「功能完備的文件系統或POSIX兼容性」,原因在於文件系統具有「與對象存儲相悖且數量驚人的獨特屬性」,包括會改變文件內容的功能和系統管理操作權限等。因此,Mountpoint決定專注於性能優化,避免任何無法通過S3 API直接執行的操作。論文中提到,Mountpoint的理想用例是「對大型數據集進行橫向擴展分析的數據湖類應用」。

文中還說,Mountpoint屬於開源項目,使用Rust語言構建而成。早期客戶也有意「幫助改進,讓Mountpoint獲得更豐富的功能」。

Mountpoint遵循S3權限和訪問策略,因此需要使用AWS憑證。一種可能性是將IAM(身份和訪問管理)角色添加至EC2實例,這樣就能自動應用憑證資訊。

問題是,市面上已經存在大量第三方客戶端,AWS為什麼還要費力構建自己的文件系統客戶端?畢竟S3FS-FUSE已經能夠支持Linux、macOS和FreeBSD等系統,商用ObjectiveFS系統和Rclone則面向Windows平台。

AWS副總裁兼S3總經理Kevin Miller在採訪中表示,「客戶希望獲得更好的性能、穩定性,以及對各類連接工具的官方支持。我們審視了所有連接方案,意識到最好還是從零開始構建新的工具選項。我們以AWS Common Runtime為構建基礎,這是我們的SDK庫。我們還選擇用Rust來編寫,這就保證了在不犧牲本機代碼性能的前提下獲得類型檢查和其他內置質量保障優勢。」Miller還補充稱,Mountpoint受益於「自動推理……可驗證S3強一致性等正確性指標。」

很明顯,AWS對Mountpoint的實際效果相當滿意,其代碼將成為「我們過去17年間所見到過的、所有工程軟體層面的最佳實踐,能夠滿足大型客戶提出的可靠性標準。」

除了Mountpoint,AWS還為S3引入了其他六項新功能,藉此紀念S3全面上市17周年(最初亮相於2006年3月14日圓周率日),具體包括:

您現在可以使用S3對象Lambda接入點作為CloudFront CDN的部署來源。

S3多區域接入點現可支持跨多個AWS賬戶的複製副本。

VPC(虛擬私有雲)端點提供私有DNS選項,改進了從本地網路到S3端點的路由機制。

AWS Outposts現可支持S3副本,即實現AWS服務的本地安裝。

AWS OpenSearch引入了安全分析功能,包括S3支持。AWS表示,這將「提供一套包含2200多條規則的引擎,能夠從Windows、AWS CloudTrail、S3訪問日誌、Active Directory、LDAP、Windows及Linux系統日誌中檢測出威脅跡象。」

第三方數據文件市場AWS Data Exchange現已全面上線。

AWS S3存儲目前承載著超280萬億個對象,平均接收過億個請求。AWS仍在支持初始S3 API,但自首次推出以來也增加了許多新功能。

Miller告訴我們,存儲桶配置錯誤已經成為不少安全問題的根源,但AWS正在努力解決。「今年我們正在調整新存儲桶的默認設置,現在的存儲桶會默認啟用我們的「阻止公共訪問」選項。」另外,所有新對象也都將默認加密。

AWS又是如何看待S3 API一步步成長為某種意義上的行業標準?例如,OpenStack就在其對象存儲上模擬了S3 REST API。

Miller認為,「其他人對S3 API的複製,其實就是對它價值和實用性的一種重要肯定。但也有一些東西,比如增強校驗和支持,包括我們多年來添加的其他功能……其他廠商可能與之兼容、也可能不兼容,但我們認為這些已經不是當下必不可少的核心功能了。」

那AWS會考慮將S3 API或者其中一部分作為官方標準嗎?

Miller的回答是,「如果客戶真的迫切需要,那我們當然願意。但我們也有其他很多重要工作需要關注。」

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2025 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新