这篇文章主要介绍Apache Flink Task执行之数据流如何处理，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！
获取流数据
用户提交的代码最终被封装成了org.apache.flink.runtime.taskmanager.Task,Task是一个Runnable因此核心代码就在run方法，run方法调用了doRun方法，在doRun中调用了invokable.invoke()，Task的整个处理流程其实就在这里面。org.apache.flink.runtime.jobgraph.tasks.AbstractInvokable是一个抽象类，它的子类是不同类型的Task，这里我们主要关注流处理任务相关的org.apache.flink.streaming.runtime.tasks.StreamTask，StreamTask的invoke方法执行了runMailboxLoop()方法。
runMailboxLoop()方法就是执行org.apache.flink.streaming.runtime.tasks.mailbox.MailboxProcessor的runMailboxLoop方法。MailboxProcessor是一种线程模型，runMailboxLoop就是在while轮询中不断执行任务和默认动作，其中默认动作就是StreamTask的processInput方法，该方法调用了StreamInputProcessor的inputProcessor方法，在这个方法中获取并处理了流数据。StreamInputProcessor的子类StreamOneInputProcessor和StreamTwoInputProcessor分别用来处理有1个和2个入度的Task（StreamMultipleInputProcessor先不管）。StreamOneInputProcessor中有1个StreamTaskInput用来获取数据，1个DataOutput用来收集从StreamTaskInput获取的数据；同理，StreamTwoInputProcessor有2个StreamTaskInput和2个DataOutput。StreamTaskInput的子类StreamTaskNetworkInput用来从网络中获取流数据，通过调用他它的emitNext不仅处理流数据还处理了checkpoint barrier，本篇文章只关注数据流的处理流程。StreamTaskNetworkInput从反序列化器中获取到完整流数据后把数据交给DataOutput。DataOutput也有处理1个入度和2个入度的子类，它们都持有OperatorChain中第一个operator的引用，称为headOperator，DataOutput从StreamTaskInput那里获取到数据后会交给headOperator来处理。到此为止，流数据被获取并传入了OperatorChain。 这里总结一下：StreamTask的processInput方法在MailboxProcessor中被反复调用，在processInput方法中StreamTask使用StreamInputProcessor来获取并处理流数据。StreamInputProcessor中的StreamTaskInput用来获取数据，获取的数据交给DataOutput，DataOutput将数据传入OperatorChain的第一个operator。其中StreamTask，StreamInputProcessor和DataOutput都有处理1个入度和2个入度的子类。
数据流过OperatorChain
OperatorChain的第一个operator获取数据后，数据是怎样在OperatorChain中流动的呢？首先说说OperatorChain，StreamOperatorWrapper是chain的每个节点，每个节点都有指向下一个或上一个节点的引用，因此OperatorChain是一个双向链表。但是数据的流动并不依靠这个链式结构。上文我们提到DataOutput将数据交给了headOperator，OperatorChain的第一个节点都是StreamOperator的子类，我们编写的filer算子，map算子等最终都会被封装成StreamOperator，例如子类StreamFlatMap就是执行flatMap方法，StreamFilter就是执行fliter方法等。这些方法执行的时候用org.apache.flink.streaming.api.operators.输出对处理后的结果进行收集。例如StreamFilter当FilterFunction返回真实时收集数据,而StreamFlatMap将输出传入flatMap方法中由用户代码进行收集数据。收集的数据是怎样向OperatorChain的下一个节点传递的呢?原来输出中持有OneInputStreamOperator变量指向了链中下一个节点的算子,调用输出的收集方法会调用下一个算子的processElement,数据就这样在整个OperatorChain中传递了。
发向下游任务
当数据传到OperatorChain的最后一个算子时数据是怎样发向下个任务的呢?最后一个算子拥有输出的实现类是org.apache.flink.streaming.runtime.io.RecordWriterOutput.RecordWriterOutput的收集方法会调用的org.apache.flink.runtime.io.network.api.writer.RecordWriter #发出方法用来发送数据,该方法会将序列化器中的数据复制到BufferBuilder中.BufferBuilder维护了一个内存片段MemorySegment并且可以创建相应的消费者.RecordWriter有2个实现类ChannelSelectorRecordWriter和BroadcastRecordWriter.Task向下游节点的多个并行度发送数据,每个并行度都对应一个channel.ChannelSelectorRecordWriter为每个香奈儿都保存一个BufferBuilder并分别添加BufferConsumer:
BufferBuilder BufferBuilder =, super.requestNewBufferBuilder (targetChannel);//按渠道获取BufferBuilder addBufferConsumer (bufferBuilder.createBufferConsumer (),, targetChannel);//按频道添加BufferConsumer bufferBuilders [targetChannel],=, bufferBuilder;Apache Flink任务执行之数据流如何处理
