Uber Freight 近实时分析架构，晚点取消的比例下降了 0.4%

Uber Freight是 Uber 的一个平台，致力于为托运人和承运人提供连接服务。为托运人提供可靠的服务对 Uber Freight 来说至关重要，这也就是为什么他们要开发承运人记分卡（Carrier Scorecard），其中包含了准时取货/送货、跟踪自动化和晚点取消等指标。关键在于他们要在 Carrier App 上近乎实时地显示这些信息，而且提供这种服务的架构必须足够快，快到可以满足这些指标需求。

这个架构的要求是数据新鲜度、延迟、可靠性和准确性。一旦运单完成或退回，将以较低的延迟更新绩效分数。每个承运人都可以在低延迟的情况下在应用中查看自己的绩效分数。数据的处理和服务具有较高的可靠性，如果发生了故障，整个系统可以进行优雅的恢复。性能指标必须得到精确的计算。

在设计和实现最终的架构之前，他们考虑了一些潜在的解决方案，特别是在聚合指标方面。这些潜在的解决方案包括使用MySQL进行动态聚合和使用 MySQL 进行数据预聚合。这两种解决方案都有一些缺点，主要的问题是需要批量插入或更新记录，以确保历史数据被正确更新。他们考虑的另一个解决方案是使用两张OLAP数据库表，一张存储原始数据，然后使用事件触发器异步函数来更新另一个表中的指标，但是这个解决方案是不可伸缩的，特别是在写入流量很高的情况下。

最终的架构图

最终的架构使用了Kafka、Flink和Pinot。后端服务生成的 Kafka 事件通过 Flink 来聚合。聚合的数据被摄取到 Pinot 中，它使用 Kafka 的实时摄取来保留最后三天的数据，历史数据被摄取到 HDFS 中。

Apache Pinot 提供了 JSON、排序列和星树等索引优化技术，以加速查询的性能。快速查询为承运人提供了更好的交互体验。为了实现 250 毫秒的表查询延迟，他们在 Pinot 表上创建了两种索引——倒排索引和排序索引。倒排索引可以将带有 WHERE 子句的查询速度提高 10 倍，根据承运人的惟一 ID 对索引进行排序，将表的大小减小了一半，这也减小了查询延迟。

Neutrino 是用于访问 Pinot 数据集的查询网关，它是Presto的另一种部署方式，其中协调器和 Worker 运行在不同的主机上，可以独立执行查询。Neutrino 接受PrestoSQL查询，并将其翻译成 Pinot 查询语言。Neutrino 前面添加了 Redis 缓存，可以存储聚合指标最多 12 小时，缓存命中率超过了 90%。

根据Uber的观察发现，自从它开始向 Freight 司机提供绩效信息以来，所有关键指标都有了显著提升——晚点取消的比例下降了 0.4%，准时取货的比例提高了 0.6%，准时卸货的比例提高了 1%，自动跟踪的比例提高了 1%。这些绩效改进在 2021 年估计节省了 150 万美元的成本。

原文链接：

https://www.infoq.com/news/2022/11/uber-freight-analysis/