hudi系列-timeline service

Timeline Service(时间线服务)是hudi的一个组件,用于暴露文件系统视图接口给客户端,是一个基于Javalin+Jetty实现的web服务。当客户端使用远程文件系统视图(RemoteHoodieTableFileSystemView)时,就是访问时间线服务http接口

在这里插入图片描述

默认情况下,如果开启了时间线服务,则它运行在JobManager(如果是spark,则在driver中),所有写任务都会向它发出请求。

功能

时间线服务接收到的请示会分派给对应的Handler进行处理

  • BaseFileHandler:获取base文件信息
  • FileSliceHandler:获取文件分片信息
  • TimelineHandler:获取timeline信息
  • MarkerHandler:管理marker文件,创建、删除、查询

前三者直接代理了文件系统视图提供的接口,第四个是实现了marker机制,支持批量创建marker文件,解决了AWS S3下性能瓶颈问题。

部署方式

时间线服务支持两种部署方式,内置方式以及独立部署方式文章来源地址https://uudwc.com/A/nJ8VB

  • 内置方式:默认的部署方式,即hoodie.embed.timeline.se

原文地址:https://blog.csdn.net/czmacd/article/details/131403891

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请联系站长进行投诉反馈,一经查实,立即删除!

上一篇 2023年06月27日 14:19
Python:使用钉钉dingtalk发送通知消息
下一篇 2023年06月27日 14:19