写点什么

RAG 驱动的 Copilot 为 Uber 节省了 13,000 个工程小时

作者:Eran Stiller

  • 2024-11-28
    北京
  • 本文字数:1125 字

    阅读完需:约 4 分钟

RAG 驱动的 Copilot 为 Uber 节省了 13,000 个工程小时

Uber 最近详细介绍了它构建 Genie 的经历,这是一款由 AI 驱动的随时待命的 Copilot,旨在提高随时待命的支持工程师的效率。Genie 利用检索增强生成(RAG)技术提供准确的实时响应,并显著提高事件响应的速度和效率。


自 2023 年 9 月推出以来,Genie 对 Uber 的支持团队产生了重大影响。它已在 154 个 Slack 频道中回答了超过 70,000 个问题,节省了大约 13,000 个工程小时,根据用户的评估,其回答有效率为 48.9%。


Uber 的待命工程师通常花费大量时间答复重复的查询或浏览零散的文档,使用户难以独立找到答案。这些情况导致了响应时间过长和生产力下降,这也是构建 Genie 的驱动力。


Uber 使用检索增强生成(RAG)来驱动 Genie。RAG 是一种创新方法,它将信息检索系统的优势与生成式 AI 模型相结合,以产生准确且相关的响应。它让 Uber 可以利用现有知识来源快速部署解决方案,这样就用不着 AI 模型微调所需的大量示例数据了。


Genie 从各种内部来源提取数据,例如 Uber 的 wiki、Stack Overflow 和工程文档。信息被抓取后,使用 OpenAI 模型转换为向量嵌入,并存储在 Uber 的内部向量数据库 Search In Action(SIA)中。Genie 仅从预先批准的数据源提取数据,且不包含敏感数据,以避免泄露敏感信息。


Genie 的整体架构(来源)


当用户在 Slack 中提出问题时,查询会被转换为嵌入,Genie 会使用该嵌入在向量数据库中获取上下文相似的数据。然后它将这些数据输入到大型语言模型中,以根据检索到的信息生成准确的响应。


Uber 实施了一个指标框架,通过持续的实时用户反馈来提高 Genie 的性能。在 Genie 回答问题后,用户可以通过选择“已解决”、“有帮助”或“不相关”等选项来提供反馈。


Genie 的用户反馈流程(来源)


这些反馈通过 Slack 插件收集,并使用 Uber 的内部数据流系统处理,将指标发送到 Hive 表中分析。反馈循环允许 Uber 的团队跟踪 Genie 的帮助有效率,并根据真实的用户体验改进其响应。


对于性能评估,Uber 设计了一个自定义评估管道,用于评估各种指标,例如幻觉率和响应的相关性。该管道处理的是历史数据,包括 Slack 元数据、用户反馈和 Genie 以前的响应。它通过由 LLM 提供支持的评分系统来处理这些数据,用这个系统充当评判者。


Uber 还采用了一套文档评估流程,以保障 Genie 在其响应中检索和使用的信息的质量。系统将抓取的知识库转换为结构化格式,其中一行代表一个文档。


文档评估应用程序的工作流程(来源)


Genie 将这些文档输入带有自定义评估提示的 LLM 来评估每个文档的清晰度、准确性和实用性。然后,LLM 返回分数并提供改进每个文档的可行建议。此过程有助于保持底层文档的高标准,确保 Genie 的响应保持可靠和有效。


查看原文链接:

https://www.infoq.com/news/2024/10/uber-genie-rag-copilot/

2024-11-28 08:038545

评论

发布
暂无评论
发现更多内容

【小技巧】Google浏览器设置之Tab折叠分组

恒生LIGHT云社区

推荐 浏览器书签 谷歌 工具分享

开发5年!三面字节,成功拿到27k*17offer,原来也没那么难

Java 程序员 架构 面试

Rust从0到1-泛型-生命周期

rust 泛型 生命周期 generic lifetimes

ROS CDK | 云上资源自动化部署新模式

郭旭东

阿里云 ROS 基础设施即代码 IaC

前端 JavaScript 复制粘贴的奥义——Clipboard 对象概述

编程三昧

JavaScript 大前端

字节跳动亿级视频处理系统高可用架构实践

火山引擎开发者社区

架构 后端 音视频

自从有了这个工具,一键代码迁移不在话下

华为云开发者联盟

代码迁移 鲲鹏DevKit 汇编翻译 汇编语言 Kunpeng

剪视频一点都不难,多款超实用剪辑软件全方位评测!

懒得勤快

短视频 视频剪辑 视频制作

Flink 和 Iceberg 如何解决数据入湖面临的挑战

Apache Flink

flink

【Linux】使用 systemd 管理 frp 服务

赖猫

Linux 后端

架构实战营 模块六:学习总结

👈

架构实战营

微警务系统搭建,智慧派出所平台建设解决方案

【签约计划】百位签约创作者名单公布

InfoQ写作社区官方

签约计划

工作年限、成长路线、进阶技术。怎样才能成为架构师?

Linux服务器开发

Linux服务器开发 Linux后台开发 软件架构师 服务器架构师 C++架构师

为什么大家都在用WebRTC?

anyRTC开发者

音视频 WebRTC 语音通话 视频通讯

深度 | 字节跳动微服务架构体系演进

字节跳动 微服务 云原生 Service Mesh 服务网格 火山引擎

架构实战营 模块六:课后作业

👈

架构实战营

双指针法

后台服务器开发

c++ 双指针 LeetCode

2021年,想要成为年薪百万的Java架构师需要掌握哪些技术?

Java架构师迁哥

唯品会:在 Flink 容器化与平台化上的建设实践

Apache Flink

flink

通用时区:你应该知道的数据库时区知识

华为云开发者联盟

数据库 时区 GaussDB(DWS) 通用时区 夏令时

网络为本,博睿数据NPMD用20%的投入实现80%的功能

博睿数据

博睿数据 数据链DNA NPMD

管理者如何避免主观偏见

石云升

职场经验 管理经验 6月日更

一份283页pdf,五大核心内容,熬夜“啃完”,竟拿下了阿里offer

Java 程序员 架构 面试

体验为先,博睿数据打造以用户会话为中心的监测体系

博睿数据

博睿数据 数据链DNA DEM

新版发布|ShardingSphere 5.0.0-beta 来了!

SphereEx

ShardingSphere

Flink Job 概览

Alex🐒

flink 翻译 flink1.13

墨奇,以“一手之力” 证明你就是你

E科讯

低代码助力企业生产管理8大招式,你学废(hui)了吗?

优秀

低代码

高寿命NVMe SSD应用场景探讨

怀瑾握瑜

区块链 数据库 云计算 SSD 虚拟货币

网络态势感知是什么?

郑州埃文科技

RAG 驱动的 Copilot 为 Uber 节省了 13,000 个工程小时_性能优化_InfoQ精选文章