Meta資料執行引擎Velox與Apache Arrow協調整合資料格式,強化資料應用互通性
· 2024-02-26

Meta Velox與Apache Arrow協調融合雙方格式,在Arrow 15中,引入由Velox Vectors衍伸的3種資料格式布局,提高資料管理系統元件的互通性

Meta、Voltron Data和Apache Arrow社群合作,目的是協調整合Meta開源執行引擎Velox與行式資料框架Apache Arrow。新版的Arrow 15將會基於這次合作引入3種新的格式布局,而這將有助於Meta與廣泛社群,建立一個統一、有效率且可組合的資料管理系統。

Meta在2022年開源執行引擎Velox,改善資料處理和分析系統的效能,以C++函式庫的形式實作。Velox的特色在於提供過去只在單獨引擎中可用的功能統一實作,來最佳化系統效能,加速資料處理、查詢效率,以及更好的資源管理。Velox目前已經被Meta用於超過10個系統中,提升與Apache Spark、Presto等知名系統的整合效率3到10倍。

Meta資料基礎設施團隊一直在思考資料管理系統的設計方式,希望讓內部的資料管理系統更具組合性,也就是說,透過通用元件將單一系統分解成可重複使用的函式庫,並利用通用API和標準來增加元件之間的互通性。而當Meta將大型單一系統分解成模組化元件堆疊時,與Apache Arrow這些開源元件的互通性也就變得更加重要。

Apache Arrow是一個受廣泛使用的開源框架,專門用於行式記憶體內資料的高效處理和傳輸,其設計使得大資料和分析應用,能夠快速執行和移動大量資料,避免常見的效能瓶頸。

由於要實現元件的互通性,可組合資料管理系統必須理解常見的儲存格式、網路序列化協定、表格API,並具有統一的計算表達方式,而Meta解釋,通常必須讓這些元件直接共用記憶體中的資料,像是跨語言邊界傳輸資料,才能有效地支援用戶定義函式。

因此Meta決定與Voltron Data、Arrow社群合作,將開源行式資料布局和Velox進行整合。而這項合作的重點在於盡可能使API遵循開放標準,Meta指出,Arrow可以被視為Velox的底層,Arrow描述了行式資料在記憶體中表示的方法,而Velox提供了一系列執行和資源管理資料的原語。

不過,Meta在當初開發Velox時,設計了Velox Vectors布局來加速工作負載中常見的資料操作,Velox Vectors具有快速移動資料所需要的效率和敏捷性,但Meta指出,這樣的設計卻造成了碎片化,降低了元件的互通性。

因此現在Velox與Arrow協調融合雙方格式,在Arrow 15.0.0加入由Velox Vectors衍伸的3種資料格式布局,包括StringView、ListView和Run-End-Encoding(REE),如此不僅可以使用Velox與Arrow進行跨元件的記憶體內通訊,達到資料零複製的目的,而且也提高了Arrow在現代執行引擎的可用性,能夠支援更高效能用例。

熱門文章
西班牙監管機構警告在線賭博平臺存在身份盜竊行為
合規與政策
GGC Awards 2026 璀璨科倫坡:致敬 iGaming 行業的領航者與創新力量
灰度頭條
越南在線博彩業政策收緊 催生市場新機遇
東南亞資訊
印第安納州在線賭場法案在眾議院委員會停滯不前
合規與政策
灰度在iGB L!VE 2026展位T70和你相約7月,一起點燃倫敦的熱情!
灰度頭條
斯里蘭卡博弈產業大轉型,官方:劍指南亞拉斯維加斯
合規與政策
印度最高法院受理公益訴訟,要求全國禁封「偽裝」成社交遊戲的賭博平台
合規與政策
越南博彩管控逐步放寬,惟本土需求仍顯乏力
東南亞資訊
菲律賓網絡賭博和加密貨幣仍構成持續的洗錢風險
東南亞資訊
超級PAC籌資4800萬美元:體育博彩勢力加碼
合規與政策
橫跨全球6個城市,灰度8場派對邀你共看世界盃,重塑高質量社交新場景
灰度頭條
JILI 宣佈與全球板球傳奇 AB de Villiers(ABD)達成重磅戰略合作
體育遊戲
新澤西州7月博彩收入創6.06億美元新高,頒布禁令
合規與政策
英國確認各垂直行業的賭博稅稅率
合規與政策
哈薩克計劃對線上賭場促銷活動進行處罰
合規與政策
首頁
遊戲
合作
發現
我的