Flume经典案例之自定义Source_flume自定义source-CSDN博客

本文链接：https://blog.csdn.net/weixin_44911081/article/details/122161283

这篇博客介绍了如何使用Apache Flume创建一个自定义数据源，该源会接收数据并在每条记录前添加指定前缀，然后将处理后的数据输出到控制台。通过在IDEA中创建Maven工程，导入Flume相关依赖，编写自定义Source类，设置数据处理逻辑，然后打包并部署到Linux上的Flume环境。配置文件中定义了自定义源的类型，并指定了数据通道和接收器。最后，通过命令启动Flume agent，观察控制台输出结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求分析：

使用flume接收数据，并给每条数据添加前缀，输出到控制台。

操作步骤：

1、打开IDEA，新建maven工程。

2、导入依赖

<dependency>
      <groupId>org.apache.flume</groupId>
      <artifactId>flume-ng-core</artifactId>
      <version>1.6.0</version>
    </dependency>

3、编写代码

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.EventDeliveryException;
import org.apache.flume.PollableSource;
import org.apache.flume.channel.ChannelProcessor;
import org.apache.flume.conf.Configurable;
import org.apache.flume.event.SimpleEvent;
import org.apache.flume.source.AbstractSource;

import java.util.ArrayList;
import java.util.List;

public class MySource extends AbstractSource implements Configurable, PollableSource {

    private String prefix;
    /**
     * 核心方法  - 获取数据封装成event，将创建的event放入到channel中，该方法会被循环调用
     * @return
     * @throws EventDeliveryException
     *
     * Status 1、是一个枚举类 2、使用status的值来表示向channelProcessor中添加的数据是否成功
     * READY：成功
     * BACKOFF：失败
     *
     */
    @Override
    public Status process() throws EventDeliveryException {
        List<Event> list = new ArrayList<>();
        Status status = Status.READY;
        for (int i = 0; i < 5; i++) {
            //创建event的对象
            SimpleEvent event = new SimpleEvent();
            //给event中设置数据+前缀
            event.setBody((prefix + "hello" + i).getBytes());
            //将event放入到list中
            list.add(event);
        }
        try {
            //将数据放入到channel中
            //获取channelProcessor
            ChannelProcessor channelProcessor = getChannelProcessor();
            channelProcessor.processEventBatch(list);
        } catch (Exception e) {
            status = Status.BACKOFF;
        }
        return status;
    }

    /**
     *  获取上下文，可以读取配置文件中的内容
     * @param context
     */
    @Override
    public void configure(Context context) {
        //获取配置文件中的指定属性的内容，如果没有配置那么默认值为test
        prefix = context.getString("prefix", "test=");

    }

    /**
     * 当source没有数据可以封装时，会让source所在的线程休息一会
     * @return
     */
    @Override
    public long getBackOffSleepIncrement() {
        return 2000L;
    }

    /**
     * 当source没有数据可以封装时，会让source所在的线程休息的最大时间
     * @return
     */
    @Override
    public long getMaxBackOffSleepInterval() {
        return 5000L;
    }
    
}

4、打包代码
使用xftp将包传入Linux中，传入flume目录下的lib目录中。

5、编写配置文件autosource.conf

a1.sources=r1
a1.channels=c1 c2
a1.sinks=k1 k2
#自定义source
a1.sources.r1.type=cn.jit.MySource

a1.channels.c1.type=memory

a1.sinks.k1.type=logger

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1