Confluent Tableflow可將Kafka串流資料轉為Iceberg表格最佳化分析流程
· 2024-03-26

Confluent資料處理新專案Tableflow,簡化從Apache Kafka到Apache Iceberg表格的轉換工作,使得資料能夠更簡單地流動和轉換,統一企業營運和分析領域的資料處理

企業級Kafka平臺Confluent推出新解決方案Tableflow,其目的在於簡化將Apache Kafka串流資料轉換為Apache Iceberg表格,用於資料湖、資料倉儲和分析引擎的過程。Tableflow能夠一鍵將Kafka主題和相關架構轉換成Iceberg表格,省去過去分析營運資料所需要的繁瑣過程。

Confluent強調,Iceberg逐漸成為資料分析領域中,資料表格式的開放標準。不同的計算引擎和資料湖倉能夠透過Iceberg,簡單地存取和處理資料,進而支援靈活且開放的資料架構。雖然企業的營運和分析兩大領域,需要存取相同的資料,但是不同存取方式的需求,導致組織需要重複執行同樣的工作,像是將應用程式串連起來,資料再經過ETL流程轉移到資料湖倉中。

因此營運和分析領域之間更方便的資料流動和轉換,成了企業重要的需求之一,而Tableflow的出現,便是要統一營運和分析領域的資料處理,使Confluent用戶可一鍵將Kafka和相關架構轉換為Iceberg表格,使得將串流資料存放進資料湖倉的過程更加簡單。

Tableflow運用了Kora儲存層創新技術,將Kafka片段寫入為Apache Iceberg底層儲存格式Parquet。而在後臺,Tableflow使用了一個新的後設資料轉換器(Materializer)連接Confluent架構註冊表,生成Iceberg後設資料,同時處理架構映射、架構演變和類型轉換等工作。讓用戶不需要手動映射。

資料品質規則會在上游強制執行,不相容的資料在源頭就會被拒絕,並且可在開發中簡單地被偵測出來。用戶的資料產品可以進入自家的資料湖倉,並且以串流和表格等方式存取。除了架構管理之外,Tableflow還會持續將串流資料產生的Parquet小檔案,壓縮轉換成更大的檔案,也維持良好的讀取效能。

目前透過Iceberg REST目錄就可以存取Iceberg表格,使用者只要複製Iceberg REST目錄端點,並使用Confluent Cloud API金鑰和機密作為憑證,並將其傳遞給Iceberg相容的運算引擎即可。Tableflow的初始版本會將資料儲存在Confluent Cloud中,之後官方會允許用戶選擇將Iceberg後設資料和Parquet檔案儲存在自己的物件儲存中。現在Tableflow還處於早期階段,想嚐鮮的開發者可以申請搶先體驗。

热门文章
巴西拟将博彩税率提高至24% 税收将用于社保和医疗领域
游戏风向
2027 Global Game Connect(GGC)斯里兰卡招商全面开启!业务人脉尽在掌握!
灰度头条
密西西比州众议院委员会推进提议增加赌场税的法案
游戏风向
超级PAC筹资4800万美元:体育博彩势力加码
游戏风向
英国确认各垂直行业的赌博税税率
游戏风向
斯里兰卡博弈产业大转型,官方:剑指南亚拉斯维加斯
游戏风向
越南博彩管控逐步放宽,惟本土需求仍显乏力
东南亚资讯
Zenith携手HUIDU,冠名赞助2026年世界杯嘉年华官方巡回活动
线上游戏
张侨伟参议员排除全面禁止,敦促菲律宾规范网络赌博
东南亚资讯
准备好了将你的收益最大化吗?尝试ProPush.me Constructor!
广告营销
亚洲顶尖游戏供应商多寶游戏 DB GAMING,开创亚洲市场的唯一首选
广告营销
新泽西州7月博彩收入创6.06亿美元新高,颁布禁令
游戏风向
越南在线博彩业政策收紧 催生市场新机遇
东南亚资讯
PropellerAds 分享了新的 iGaming 案例研究:在 3 个月实现 97,674 次安装和 12,701 笔存款
广告营销
哈萨克斯坦计划对在线赌场促销活动进行处罚
游戏风向
首页
游戏
合作
发现
我的