Flink、Spark、Hive集成Hudi

环境描述:

hudi版本:0.13.1

flink版本:flink-1.15.2

spark版本:3.3.2

Hive版本:3.1.3

Hadoop版本:3.3.4

一.Flink集成Hive

1.拷贝hadoop包到Flink lib目录

hadoop-client-api-3.3.4.jar

hadoop-client-runtime-3.3.4.jar

2.下载上传flink-hive的jar包

flink-connector-hive_2.12-1.15.2.jar

flink-sql-connector-hive-3.1.3_2.12-1.15.2.jar

 3.复制hive-site.xml到flink conf下

方式一:复制

方式二(推荐):创建软连接文章来源地址https://uudwc.com/A/Y6BRJ

ln

原文地址:https://blog.csdn.net/QYmufeng/article/details/132809122

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请联系站长进行投诉反馈,一经查实,立即删除!

上一篇 2023年09月17日 22:49
Mozilla 紧急修补 Firefox 和 Thunderbird 中的 WebP 严重零日漏洞
下一篇 2023年09月17日 22:54