在最简单的情况下，生产者 / 消费者场景很容易处理。生产者向一个线程安全的队列中推送消息，消费者从该队列中取消息。每一端可以有一个专用线程，这就行了。至少在并发症状出现之前是行得通的。
并发症状是多方面的。你可能需要向多个消费者分发或广播消息，而不是只有一个消费者。因为性能原因，在执行某些操作之前，可能需要批量提交一些请求。也可能有多个步骤，而如果每个步骤用一个专用线程的话，负载会很繁重。或者是随着消息在线程间跳转，上下文切换会影响延迟。
TPL Dataflow 就是为解决这些问题而设计的。不同于使用线程，构成数据流的轻量级块（Block）按需使用和分享线程池中的线程。但是和任何新框架一样，我们有很多东西要学习，而且很多比较高级的选项可能会掩盖基础知识。
为简化入门，Taskmatics 的 Dave Marini 撰写了一篇文章——“使用流：利用 TPL Dataflow 结构简化生产者 / 消费者问题的处理（ Going with the Flow: Simplifying Producer/Consumer Processing with TPL Dataflow Structures ）”。Dave 使用一个订单交付工作流（如上图所示），介绍了大多数场景需要的基本块：
- BufferBlock
- BroadcastBlock
- BatchBlock
- TransformManyBlock
- ActionBlock
这篇文章还介绍了一些容易被忽略的陷阱，比如刷新批处理和完成工作流等。
略懂技术的运营同学。
最新发布
从业 20 年，计算机视觉老兵谈算法从研究到落地
2019-11-13
《Storm 技术内幕与大数据实践》作者陈敏敏谈大数据技术在电商领域的应用
2015-09-07
百花齐放，锄其九九——Twitter 的技术坎坷之路
2015-12-18
腾讯云云原生提质增效实践精选集 2024
《2024腾讯云云原生提质增效实践精选集》出炉，5大热门技术领域，13个行业精选标杆案例，痛点到解决方案全...
以 KV 缓存为中心的高效长文本方法的优化和实践
具身智能 × 工程机械：挖掘机远控与端到端自动装车模型的矿山实践
长文本 LLMs 推理优化：动态稀疏性算法的应用实践
评论