Google云计算推出可用Hive访问BigQuery数据的开源连接器
· 2023-07-05

Google云计算发布可以连接Apache Hive与BigQuery的连接器,使得Hive工作负载现在也可以读取和写入BigQuery与BigLake表格,也就是说,Hive-BigQuery连接器提供了另一个Hive搬迁到BigQuery的解决方案,即便用户已经将数据搬迁到BigQuery或BigLake,仍然可以利用HiveQL方言和Hive执行引擎执行查询。


Google云计算发布可以连接Apache Hive与BigQuery的连接器,使得Hive工作负载现在也可以读取和写入BigQuery与BigLake表格,也就是说,Hive-BigQuery连接器提供了另一个Hive搬迁到BigQuery的解决方案,即便用户已经将数据搬迁到BigQuery或BigLake,仍然可以利用HiveQL方言和Hive执行引擎执行查询。


Apache Hive是一个开源的分布式数据仓库系统,用于处理存储在Hadoop中的结构化数据,开发人员不需要了解和编写复杂的MapReduce任务,可以使用类似SQL语言的HiveQL查询数据。而之所以Google要开发Hive-BigQuery连接器,是因为部分用户在搬迁Hive到BigQuery数据仓库时遭遇障碍,而Hive-BigQuery连接器则可提供更灵活的搬迁选择。


Hive-BigQuery连接器实例了Hive StorageHandler API,可集成Hive工作负载和BigQuery、BigLake表格,Hive的执行引擎会处理聚合和整合等数据操作,而与BigQuery的数据层的所有互动,则是由连接器管理。


Google提到,Hive原本就是热门的开源数据仓库之一,过去使用本地HDFS当作专有数据存储层,而现在逐渐发展到了云计算存储服务。这个新的连接器,可以将Hive和原生云计算存储BigQuery集成在一起,进而简化搬迁工作。


利用Hive-BigQuery连接器,用户可以在批次搬迁的过程,维持操作的连续性。在过程中,原始的Hive查询能够通过连接器访问数据,而用户也可以逐渐转换使用BigQuery的SQL方言,待转换完成后,用户便可以完全停用Hive。


此外,用户还可以同时使用Hive和BigQuery,主要以Hive处理工作负载,并仅将BigQuery用于特定任务,或是也可以继续使用Hive,并且在云计算存储采用Avro、Parquet或ORC等开源软件格式,用户可以使用Hive的SQL方言执行和处理查询,以连接器使用BigLake和BigQuery的特有功能,像是缓存查询性能的元数据、应用栏级访问控制,甚至是数据遗失防护(DLP)等安全和治理功能。


热门文章
GGC Awards 2026 璀璨科伦坡:致敬 iGaming 行业的领航者与创新力量
灰度头条
哈萨克斯坦计划对在线赌场促销活动进行处罚
游戏风向
菲律宾博彩技术赛道迎来新变局,B2B 供应模式加速渗透
东南亚资讯
准备好了将你的收益最大化吗?尝试ProPush.me Constructor!
广告营销
斯里兰卡博弈产业大转型,官方:剑指南亚拉斯维加斯
游戏风向
灰度在iGB L!VE 2026展位T70和你相约7月,一起点燃伦敦的热情!
灰度头条
BETFAIR 网络攻击80万用户资料泄露
游戏风向
张侨伟参议员排除全面禁止,敦促菲律宾规范网络赌博
东南亚资讯
横跨全球6个城市,灰度8场派对邀你共看世界杯,重塑高质量社交新场景
灰度头条
JILI 宣布与全球板球传奇 AB de Villiers(ABD)达成重磅战略合作
体育游戏
灰度世界杯嘉年华狂欢派对吉隆坡站即将开启,业务拓展人脉社交从马来西亚开始
灰度头条
密西西比州众议院委员会推进提议增加赌场税的法案
游戏风向
巴西拟将博彩税率提高至24% 税收将用于社保和医疗领域
游戏风向
印度最高法院受理公益诉讼,要求全国禁封“伪装”成社交游戏的赌博平台
游戏风向
2027 Global Game Connect(GGC)斯里兰卡招商全面开启!业务人脉尽在掌握!
灰度头条
首页
游戏
合作
发现
我的