Flink Introduction

Created2026-03-14|Updated2026-03-15|Flink

|Post Views:

Flink

版本

1	<flink.version>1.16.1</flink.version>

Author: QuZheng

Link: https://www.studybigdata.com/Flink/01-Flink-Structure/

Copyright Notice: All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.

Flink Introduction

Related Articles

pom1234567891011<dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-spark</artifactId> <version>5.0.0-HBase-2.0</version> <exclusions> <exclusion> <groupId>org.glassfish</groupId> <artifactId>javax.el</artifactId> </exclusion> </exclusions></dependency>

pom12345<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka</artifactId> <version>${flink.version}</version></dependency> Kafka命令行创建Topic12(base) [zhangsan@node1 ~]$ kafka-topics.sh --create --topic flink-kafka --partitions 3 --replication-factor 2 --bootstrap-server node1:9092Created topic flink-kafka. 生产者12345(base) [zhangsan@node1 ~]$ kafka-console-producer.sh --topic flink-kafka --boot...

Flink Broadcast

一、Flink Broadcast（广播流）核心概念Flink 的 Broadcast（广播流）是一种特殊的流合并方式，用于将配置/规则/维度数据（小体量、低频更新）广播到所有并行子任务中，让每个任务都能访问到这些全局数据，常与普通数据流结合实现动态规则匹配、维度补全等场景。核心特点：广播流（Broadcast Stream）：被广播的流，数据会复制到所有并行实例；普通流（Data Stream）：业务数据流，每个并行实例处理自己分片的数据；结合方式：通过 connect + BroadcastProcessFunction 实现双流结合，广播流数据会存入 BroadcastState（可共享的状态）。二、Broadcast 完整代码示例以下示例实现「规则广播流 + 业务数据流」的结合：广播流：动态更新的过滤规则（比如过滤掉包含特定关键词的消息）；业务流：普通字符串消息流；核心逻辑：用广播的规则过滤业务流数据。 1234567891011121314151617181920212223242526272829303132333435363...

Flink Stream Union

一、流程图1234567flowchart LR A[数据源1] --> B[stream1<br/>数据类型：String] C[数据源2] --> D[stream2<br/>数据类型：String] B --> E[union 操作<br/>合并同类型流] D --> E E --> F[unionStream<br/>合并后的数据流] F --> G[打印/下游处理] 二、Flink Union 操作实现代码首先为你提供可直接运行的 Flink 代码示例，实现两个流（stream1、stream2）的 Union 操作，代码基于 Flink 1.16+ 版本： 12345678910111213141516171819202122232425262728import org.apache.flink.api.common.typeinfo.Types;import org.apache.flink.streaming.api.datastream.Da...

Flink Stream Connect

一、Flink Connect 操作核心说明Flink 的 connect 是比 union 更灵活的流合并操作： union：仅能合并同数据类型的多个流，合并后仍是同类型流； connect：可以合并不同数据类型的两个流，合并后得到 ConnectedStreams，需通过 CoMapFunction/CoFlatMapFunction 分别处理两种类型的数据。二、流程图12345678flowchart LR A[数据源1] --> B[stringStream<br/>数据类型：String] C[数据源2] --> D[intStream<br/>数据类型：Integer] B --> E[connect 操作<br/>合并不同类型流] D --> E E --> F[CoMapFunction<br/>map1：处理String<br/>map2：处理Integer] F --> G[resultStream<br/&...

Flink WordCount

Flink WordCount输入1234yuan@ThinkPad:~$ nc -lk 9999ab bc c c 输出123456(a,1)(b,1)(b,2)(c,1)(c,2)(c,3) wordcount1234567891011121314151617181920// 3. 数据处理：单词计数DataStream<Tuple2<String, Integer>> wordCountStream = socketSource // 拆分每行输入为单个单词，并初始化为 (单词, 1) .flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() { @Override public void flatMap(String line, Collector<Tuple2<String, Integer>> out) throws Exception ...