在Flink中，广播流（Broadcast Stream）是一种特殊的数据流类型，用于将一个数据流广播到所有并行任务中，以供每个任务共享和使用。广播流通常用于将静态数据（如维表数据）发送给所有任务，以便任务可以在本地缓存该数据，避免多次访问外部存储系统。
广播流的特点如下：
广播流只有一个并行度，即并行度为1。
广播流只能连接到一个操作符上。
广播流中的数据会被复制到所有任务的本地状态中，以供任务本地使用。
使用广播流的步骤如下：
创建广播流：通过
env.fromCollection()
、
env.fromElements()
等方法创建广播流，并设置并行度为1。
广播广播流：通过
broadcast()
方法将广播流与其他数据流进行连接。
处理广播数据：在处理函数中通过
ctx.getBroadcastState()
方法获取广播流的状态，并在任务本地使用广播数据。
下面是一个简单的示例代码，演示如何使用广播流：
import org.apache.flink.api.common.functions.RichFlatMapFunction;
import org.apache.flink.api.common.state.BroadcastState;
import org.apache.flink.api.common.state.MapStateDescriptor;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.BroadcastStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;
public class BroadcastStreamExample {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// 创建广播流
BroadcastStream<String> broadcastStream = env.fromElements("A", "B", "C")
.broadcast(new MapStateDescriptor<>("broadcast-state", String.class, Boolean.class));
// 创建主数据流
env.fromElements("A", "B", "C", "D", "E", "F")
.flatMap(new BroadcastProcessFunction())
.print();
env.execute("Broadcast Stream Example");
public static class BroadcastProcessFunction extends RichFlatMapFunction<String, Tuple2<String, Boolean>> {
private transient BroadcastState<String, Boolean> broadcastState;
@Override
public void open(Configuration parameters) throws Exception {
super.open(parameters);
// 初始化广播状态
MapStateDescriptor<String, Boolean> descriptor = new MapStateDescriptor<>(
"broadcast-state",
String.class,
Boolean.class
broadcastState = getRuntimeContext().getBroadcastState(descriptor);
@Override
public void flatMap(String value, Collector<Tuple2<String, Boolean>> out) throws Exception {
// 获取广播数据
Boolean broadcastValue = broadcastState.get(value);
// 处理数据
if (broadcastValue != null && broadcastValue) {
out.collect(Tuple2.of(value, true));
} else {
out.collect(Tuple2.of(value, false));
@Override
public void processBroadcastElement(String value, Context ctx, Collector<Tuple2<String, Boolean>> out) throws Exception {
// 更新广播数据
broadcastState.put(value, true);
在上述示例代码中，
首先创建了一个广播流broadcastStream，其中包含了"A"、"B"和"C"这几个元素。然后创建了主数据流，其中包含了"A"、"B"、"C"、"D"、"E"和"F"这几个元素。在BroadcastProcessFunction中，通过open()方法初始化广播状态，并在processBroadcastElement()方法中更新广播数据。在flatMap()方法中，通过broadcastState.get()方法获取广播数据，并进行处理，最后将结果通过out.collect()发送到下游。
运行示例代码后，可以看到输出结果中的元组包含了主数据流中的元素和一个布尔值，布尔值表示广播流中是否存在该元素。
需要注意的是，广播流的数据会复制到每个任务的本地状态中，因此广播流的数据量不应过大，否则可能会导致内存占用过大。对于大规模的维表数据，可以考虑使用更适合的数据存储和查询方案，如Redis、HBase等。
