flume PollableSource.process()是什么工作原理

start方法在整个Flume启动时或者初始化组件时都会调用start方法进行组件初始化,Flume...{ //调用PollableSource的process方法进行轮训拉取,然后判断是否遇到了失败补偿 ...

实现PollableSource接口 通过SinkRunner管理Source 实现EventDrivenSource接口 可以自己接受数据、发送到channel。比如ThriftSource Flume Thrift Service的实现类在core包 ...

通过这个启动停止的顺序可以看出flume也是对数据一致性...PollableSource) { runner = new PollableSource...monitorRunnable.supervisoree = process; monitorRunnable...

通过这个启动停止的顺序可以看出flume也是对数据1致性...PollableSource) { runner = new PollableSource...monitorRunnable.supervisoree = process; monitorRunnable...

下面的方法中多了一个process()方法,这个方法在PollableSourceRunner类中会被一个线程不断的调用。 参考:基于flume-ng 1.4.0的TailSource程序开发 自定义sink开发...

谢谢.下载看了一下.结合相关博客发现有一个接口PollableSource 与EventDrivenSource...在flume-env.sh中把第三方的jar包添加到FLUME_CLASSPATH变量中来包含定制的组件...

下面的方法中多了一个process()方法,这个方法在PollableSourceRunner类中会被一个线程不断的调用。 参考:基于flume-ng 1.4.0的TailSource程序开发 自定义sink开发...

组件的启动 停止以及组件在生命周期中处的状态,可以说这个接口贯穿于整个Flume中...PollingRunner,在执行的过程中会根据PollableSource类型特有的source.process()...

,那么今天我们重点分析flume核心原理,从而了解Source、Channel和Sink的全链路过程。...我们看一下PollableSourceRunner和EventDrivenSourceRunner的具体实现: 注:其实所有...

关于更多interceptor的信息可以看这篇Flume-NG源码阅读...有两种接口PollableSource和EventDrivenSource,前者是...source.process()并根据返回的状态值做一些统计工作...