Google云计算推出可用Hive访问BigQuery数据的开源连接器
· 2023-07-05

Google云计算发布可以连接Apache Hive与BigQuery的连接器,使得Hive工作负载现在也可以读取和写入BigQuery与BigLake表格,也就是说,Hive-BigQuery连接器提供了另一个Hive搬迁到BigQuery的解决方案,即便用户已经将数据搬迁到BigQuery或BigLake,仍然可以利用HiveQL方言和Hive执行引擎执行查询。


Google云计算发布可以连接Apache Hive与BigQuery的连接器,使得Hive工作负载现在也可以读取和写入BigQuery与BigLake表格,也就是说,Hive-BigQuery连接器提供了另一个Hive搬迁到BigQuery的解决方案,即便用户已经将数据搬迁到BigQuery或BigLake,仍然可以利用HiveQL方言和Hive执行引擎执行查询。


Apache Hive是一个开源的分布式数据仓库系统,用于处理存储在Hadoop中的结构化数据,开发人员不需要了解和编写复杂的MapReduce任务,可以使用类似SQL语言的HiveQL查询数据。而之所以Google要开发Hive-BigQuery连接器,是因为部分用户在搬迁Hive到BigQuery数据仓库时遭遇障碍,而Hive-BigQuery连接器则可提供更灵活的搬迁选择。


Hive-BigQuery连接器实例了Hive StorageHandler API,可集成Hive工作负载和BigQuery、BigLake表格,Hive的执行引擎会处理聚合和整合等数据操作,而与BigQuery的数据层的所有互动,则是由连接器管理。


Google提到,Hive原本就是热门的开源数据仓库之一,过去使用本地HDFS当作专有数据存储层,而现在逐渐发展到了云计算存储服务。这个新的连接器,可以将Hive和原生云计算存储BigQuery集成在一起,进而简化搬迁工作。


利用Hive-BigQuery连接器,用户可以在批次搬迁的过程,维持操作的连续性。在过程中,原始的Hive查询能够通过连接器访问数据,而用户也可以逐渐转换使用BigQuery的SQL方言,待转换完成后,用户便可以完全停用Hive。


此外,用户还可以同时使用Hive和BigQuery,主要以Hive处理工作负载,并仅将BigQuery用于特定任务,或是也可以继续使用Hive,并且在云计算存储采用Avro、Parquet或ORC等开源软件格式,用户可以使用Hive的SQL方言执行和处理查询,以连接器使用BigLake和BigQuery的特有功能,像是缓存查询性能的元数据、应用栏级访问控制,甚至是数据遗失防护(DLP)等安全和治理功能。


Popular articles
Across 6 Cities: HUIDU Invites You to 8 World Cup Parties Redefining High-Value Social Networking
HUIDU Focus
Online gambling, crypto pose ongoing money laundering risks in Philippines, analyst says
Southeast Asia
GGC Awards 2026 Shines in Colombo: Honoring Leaders and Innovators in the iGaming Industry
HUIDU Focus
Gaming & Technology Expo Makes a Powerful Entrance in CDMX
Marketing
Indiana online casino bill stalls in House committee
Regulation
Institutional Academy that exceeded expectations marked the opening of GAT CDMX
Online Game
UK MPs reopen 2025 gambling inquiry as reform stalls
Regulation
1spin4win releases unique slot Don Catleone Hold and Win featuring gangster cats
Online Game
B2B Tech Infrastructure Gains Momentum in Philippine Gaming Sector
Southeast Asia
GAT Expo Puerto Rico Will Pulse with the New Era of Gaming in the Caribbean
Marketing
Are you ready to maximize your earnings? Try ProPush.me Constructor!
Marketing
Vietnam's tightening online gaming policy creates new market opportunities
Southeast Asia
1spin4win grows its Latin American presence by partnering with Fortuna Juegos
Online Game
Full House at GAT Expo Cartagena 2026 Academic Agenda
Online Game
Vietnam’s Controlled Gaming Shift Gains Ground, But Domestic Demand Still Lags
Southeast Asia
Home
Game
Cooperation
Find
My