Google云计算推出可用Hive访问BigQuery数据的开源连接器
· 2023-07-05

Google云计算发布可以连接Apache Hive与BigQuery的连接器,使得Hive工作负载现在也可以读取和写入BigQuery与BigLake表格,也就是说,Hive-BigQuery连接器提供了另一个Hive搬迁到BigQuery的解决方案,即便用户已经将数据搬迁到BigQuery或BigLake,仍然可以利用HiveQL方言和Hive执行引擎执行查询。


Google云计算发布可以连接Apache Hive与BigQuery的连接器,使得Hive工作负载现在也可以读取和写入BigQuery与BigLake表格,也就是说,Hive-BigQuery连接器提供了另一个Hive搬迁到BigQuery的解决方案,即便用户已经将数据搬迁到BigQuery或BigLake,仍然可以利用HiveQL方言和Hive执行引擎执行查询。


Apache Hive是一个开源的分布式数据仓库系统,用于处理存储在Hadoop中的结构化数据,开发人员不需要了解和编写复杂的MapReduce任务,可以使用类似SQL语言的HiveQL查询数据。而之所以Google要开发Hive-BigQuery连接器,是因为部分用户在搬迁Hive到BigQuery数据仓库时遭遇障碍,而Hive-BigQuery连接器则可提供更灵活的搬迁选择。


Hive-BigQuery连接器实例了Hive StorageHandler API,可集成Hive工作负载和BigQuery、BigLake表格,Hive的执行引擎会处理聚合和整合等数据操作,而与BigQuery的数据层的所有互动,则是由连接器管理。


Google提到,Hive原本就是热门的开源数据仓库之一,过去使用本地HDFS当作专有数据存储层,而现在逐渐发展到了云计算存储服务。这个新的连接器,可以将Hive和原生云计算存储BigQuery集成在一起,进而简化搬迁工作。


利用Hive-BigQuery连接器,用户可以在批次搬迁的过程,维持操作的连续性。在过程中,原始的Hive查询能够通过连接器访问数据,而用户也可以逐渐转换使用BigQuery的SQL方言,待转换完成后,用户便可以完全停用Hive。


此外,用户还可以同时使用Hive和BigQuery,主要以Hive处理工作负载,并仅将BigQuery用于特定任务,或是也可以继续使用Hive,并且在云计算存储采用Avro、Parquet或ORC等开源软件格式,用户可以使用Hive的SQL方言执行和处理查询,以连接器使用BigLake和BigQuery的特有功能,像是缓存查询性能的元数据、应用栏级访问控制,甚至是数据遗失防护(DLP)等安全和治理功能。


熱門文章
超級PAC籌資4800萬美元:體育博彩勢力加碼
合規與政策
巴西擬將博弈稅率提高至24% 稅收將用於社保與醫療領域
合規與政策
哈薩克計劃對線上賭場促銷活動進行處罰
合規與政策
印度最高法院受理公益訴訟,要求全國禁封「偽裝」成社交遊戲的賭博平台
合規與政策
JILI 宣佈與全球板球傳奇 AB de Villiers(ABD)達成重磅戰略合作
體育遊戲
英國確認各垂直行業的賭博稅稅率
合規與政策
印第安納州在線賭場法案在眾議院委員會停滯不前
合規與政策
菲律賓網絡賭博和加密貨幣仍構成持續的洗錢風險
東南亞資訊
斯里蘭卡博弈產業大轉型,官方:劍指南亞拉斯維加斯
合規與政策
灰度在iGB L!VE 2026展位T70和你相約7月,一起點燃倫敦的熱情!
灰度頭條
GGC Awards 2026 璀璨科倫坡:致敬 iGaming 行業的領航者與創新力量
灰度頭條
越南博彩管控逐步放寬,惟本土需求仍顯乏力
東南亞資訊
菲律賓博彩技術賽道迎來新變局,B2B 供應模式加速滲透
東南亞資訊
越南在線博彩業政策收緊 催生市場新機遇
東南亞資訊
橫跨全球6個城市,灰度8場派對邀你共看世界盃,重塑高質量社交新場景
灰度頭條
首頁
遊戲
合作
發現
我的