使用 TPL Dataflow 处理生产者 / 消费者问题

  • Jonathan Allen
  • 臧秀涛

2014 年 1 月 28 日

话题：.NET语言 & 开发

在最简单的情况下，生产者 / 消费者场景很容易处理。生产者向一个线程安全的队列中推送消息，消费者从该队列中取消息。每一端可以有一个专用线程，这就行了。至少在并发症状出现之前是行得通的。

并发症状是多方面的。你可能需要向多个消费者分发或广播消息，而不是只有一个消费者。因为性能原因，在执行某些操作之前，可能需要批量提交一些请求。也可能有多个步骤，而如果每个步骤用一个专用线程的话，负载会很繁重。或者是随着消息在线程间跳转，上下文切换会影响延迟。

TPL Dataflow 就是为解决这些问题而设计的。不同于使用线程，构成数据流的轻量级块（Block）按需使用和分享线程池中的线程。但是和任何新框架一样，我们有很多东西要学习，而且很多比较高级的选项可能会掩盖基础知识。

为简化入门，Taskmatics 的 Dave Marini 撰写了一篇文章——“使用流：利用 TPL Dataflow 结构简化生产者 / 消费者问题的处理（Going with the Flow: Simplifying Producer/Consumer Processing with TPL Dataflow Structures）”。Dave 使用一个订单交付工作流（如上图所示），介绍了大多数场景需要的基本块：

  • BufferBlock
  • BroadcastBlock
  • BatchBlock
  • TransformManyBlock
  • ActionBlock

这篇文章还介绍了一些容易被忽略的陷阱，比如刷新批处理和完成工作流等。

查看英文原文：Producer/Consumer Processing with TPL Dataflow

.NET语言 & 开发