Flink Redis
Created|Updated|Flink
|Post Views:
pom
1 | <dependency> |
Author: QuZheng
Copyright Notice: All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.
Related Articles
2026-03-14
Flink WordCount
Flink WordCount输入1234yuan@ThinkPad:~$ nc -lk 9999ab bc c c 输出123456(a,1)(b,1)(b,2)(c,1)(c,2)(c,3) wordcount1234567891011121314151617181920// 3. 数据处理:单词计数DataStream<Tuple2<String, Integer>> wordCountStream = socketSource // 拆分每行输入为单个单词,并初始化为 (单词, 1) .flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() { @Override public void flatMap(String line, Collector<Tuple2<String, Integer>> out) throws Exception ...
2026-03-14
Flink Broadcast
一、Flink Broadcast(广播流)核心概念Flink 的 Broadcast(广播流)是一种特殊的流合并方式,用于将配置/规则/维度数据(小体量、低频更新)广播到所有并行子任务中,让每个任务都能访问到这些全局数据,常与普通数据流结合实现动态规则匹配、维度补全等场景。 核心特点: 广播流(Broadcast Stream):被广播的流,数据会复制到所有并行实例; 普通流(Data Stream):业务数据流,每个并行实例处理自己分片的数据; 结合方式:通过 connect + BroadcastProcessFunction 实现双流结合,广播流数据会存入 BroadcastState(可共享的状态)。 二、Broadcast 完整代码示例以下示例实现「规则广播流 + 业务数据流」的结合: 广播流:动态更新的过滤规则(比如过滤掉包含特定关键词的消息); 业务流:普通字符串消息流; 核心逻辑:用广播的规则过滤业务流数据。 1234567891011121314151617181920212223242526272829303132333435363...
2026-03-14
Flink Stream Connect
一、Flink Connect 操作核心说明Flink 的 connect 是比 union 更灵活的流合并操作: union:仅能合并同数据类型的多个流,合并后仍是同类型流; connect:可以合并不同数据类型的两个流,合并后得到 ConnectedStreams,需通过 CoMapFunction/CoFlatMapFunction 分别处理两种类型的数据。 二、流程图12345678flowchart LR A[数据源1] --> B[stringStream<br/>数据类型:String] C[数据源2] --> D[intStream<br/>数据类型:Integer] B --> E[connect 操作<br/>合并不同类型流] D --> E E --> F[CoMapFunction<br/>map1:处理String<br/>map2:处理Integer] F --> G[resultStream<br/&...
2026-03-14
Flink Stream Union
一、流程图1234567flowchart LR A[数据源1] --> B[stream1<br/>数据类型:String] C[数据源2] --> D[stream2<br/>数据类型:String] B --> E[union 操作<br/>合并同类型流] D --> E E --> F[unionStream<br/>合并后的数据流] F --> G[打印/下游处理] 二、Flink Union 操作实现代码首先为你提供可直接运行的 Flink 代码示例,实现两个流(stream1、stream2)的 Union 操作,代码基于 Flink 1.16+ 版本: 12345678910111213141516171819202122232425262728import org.apache.flink.api.common.typeinfo.Types;import org.apache.flink.streaming.api.datastream.Da...
2026-03-14
Flink Hello World
pom1234567891011121314151617<!-- Flink 核心依赖 --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${flink.version}</version></dependency><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java</artifactId> <version>${flink.version}</version></dependency><!-- Flink 客户端依赖(本地运行需要) -->...
2026-03-14
Flink Kafka
pom12345<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka</artifactId> <version>${flink.version}</version></dependency> Kafka命令行创建Topic12(base) [zhangsan@node1 ~]$ kafka-topics.sh --create --topic flink-kafka --partitions 3 --replication-factor 2 --bootstrap-server node1:9092Created topic flink-kafka. 生产者12345(base) [zhangsan@node1 ~]$ kafka-console-producer.sh --topic flink-kafka --boot...
Announcement
This is my Blog