AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

RAG 驱动的 Copilot 为 Uber 节省了 13,000 个工程小时

作者:Eran Stiller

  • 2024-11-28
    北京
  • 本文字数:1125 字

    阅读完需:约 4 分钟

RAG 驱动的 Copilot 为 Uber 节省了 13,000 个工程小时

Uber 最近详细介绍了它构建 Genie 的经历,这是一款由 AI 驱动的随时待命的 Copilot,旨在提高随时待命的支持工程师的效率。Genie 利用检索增强生成(RAG)技术提供准确的实时响应,并显著提高事件响应的速度和效率。


自 2023 年 9 月推出以来,Genie 对 Uber 的支持团队产生了重大影响。它已在 154 个 Slack 频道中回答了超过 70,000 个问题,节省了大约 13,000 个工程小时,根据用户的评估,其回答有效率为 48.9%。


Uber 的待命工程师通常花费大量时间答复重复的查询或浏览零散的文档,使用户难以独立找到答案。这些情况导致了响应时间过长和生产力下降,这也是构建 Genie 的驱动力。


Uber 使用检索增强生成(RAG)来驱动 Genie。RAG 是一种创新方法,它将信息检索系统的优势与生成式 AI 模型相结合,以产生准确且相关的响应。它让 Uber 可以利用现有知识来源快速部署解决方案,这样就用不着 AI 模型微调所需的大量示例数据了。


Genie 从各种内部来源提取数据,例如 Uber 的 wiki、Stack Overflow 和工程文档。信息被抓取后,使用 OpenAI 模型转换为向量嵌入,并存储在 Uber 的内部向量数据库 Search In Action(SIA)中。Genie 仅从预先批准的数据源提取数据,且不包含敏感数据,以避免泄露敏感信息。


Genie 的整体架构(来源)


当用户在 Slack 中提出问题时,查询会被转换为嵌入,Genie 会使用该嵌入在向量数据库中获取上下文相似的数据。然后它将这些数据输入到大型语言模型中,以根据检索到的信息生成准确的响应。


Uber 实施了一个指标框架,通过持续的实时用户反馈来提高 Genie 的性能。在 Genie 回答问题后,用户可以通过选择“已解决”、“有帮助”或“不相关”等选项来提供反馈。


Genie 的用户反馈流程(来源)


这些反馈通过 Slack 插件收集,并使用 Uber 的内部数据流系统处理,将指标发送到 Hive 表中分析。反馈循环允许 Uber 的团队跟踪 Genie 的帮助有效率,并根据真实的用户体验改进其响应。


对于性能评估,Uber 设计了一个自定义评估管道,用于评估各种指标,例如幻觉率和响应的相关性。该管道处理的是历史数据,包括 Slack 元数据、用户反馈和 Genie 以前的响应。它通过由 LLM 提供支持的评分系统来处理这些数据,用这个系统充当评判者。


Uber 还采用了一套文档评估流程,以保障 Genie 在其响应中检索和使用的信息的质量。系统将抓取的知识库转换为结构化格式,其中一行代表一个文档。


文档评估应用程序的工作流程(来源)


Genie 将这些文档输入带有自定义评估提示的 LLM 来评估每个文档的清晰度、准确性和实用性。然后,LLM 返回分数并提供改进每个文档的可行建议。此过程有助于保持底层文档的高标准,确保 Genie 的响应保持可靠和有效。


查看原文链接:

https://www.infoq.com/news/2024/10/uber-genie-rag-copilot/

2024-11-28 08:038548

评论

发布
暂无评论
发现更多内容

人们喜欢彼此制造困难让大家难过

Fenng

电子书:《Linux Perf Master》

RiboseYim

Linux 性能优化

对话 CTO〡和 PingCAP CTO 黄东旭聊开源数据库新蓝海

ONES 王颖奇

数据库 分布式 开发者

走出舒适区最好办法别走了,扩大它

乐少

翻译: Effective Go (1)

申屠鹏会

翻译 Go 语言

寻找伴侣最重要的是什么?

二爷

业务代码必须要做的事情

程序员劝退师

近两年影响我的两个重要原则

Selina

【Vue3.0 Beta】尝鲜

德育处主任

CSS Java html5 Vue 大前端

毕竟,一生很短,少有圆满

霍太稳@极客邦科技

创业 身心健康 个人成长

2020了,各家小程序发展的怎么样?

崔红保

小程序 uni-app

业务系统开发程序员常用linux知识

程序员劝退师

Linux

Flink初体验

数据社

大数据 flink 流计算

【gRPC】Python调用Java的gRPC服务

遇见

Java Python gRPC

用声音在一起,听荔枝CTO丁宁聊UGC声音互动平台的技术世界

ONES 王颖奇

内容 企业架构 互联网

芋道 Spring Cloud Alibaba 介绍

艿艿

阿里巴巴 分布式 微服务 Spring Cloud Spring Boot

测试

Chonge

一文讲清楚 MySQL 事务隔离级别和实现原理,开发人员必备知识点

古时的风筝

MySQL 数据库 事务隔离级别 mysql事务 数据库事务

WebSphere Application Server运维实践 --从入门到监控

rafe

Java WAS perfservlet visualVM JMX

Linux 性能诊断:负载评估入门

RiboseYim

Linux 性能优化

一个创业者的途中思考

非著名程序员

创业 读书笔记 程序员 重新理解创业 思考

分享多年积累的 macOS 效率工具

张晓辉

macos

此为开卷

X.F

为什么你的创业公司应该运行在Kubernetes上

云原生

云原生 k8s

uni-app黑魔法:小程序自定义组件运行到H5平台

崔红保

小程序 uni-app

OKR实践中的痛点(1):老板的KR我的O,怎么办?

大叔杨

OKR Scrum 敏捷

【数据结构】双向链表插入操作的时间复杂度分析

遇见

数据结构 算法 时间复杂度

浅谈汽车行业嵌入式软件发布的流程有多复杂

WB

程序员 软件

从流程、认知上做稳定的系统演进

Skysper

系统设计 质量管理

初入响应式编程(上)

CD826

spring 微服务 Spring Cloud 响应式编程 reactor

写一个开源的 macOS 程序可以赚多少钱?

子骅 luin

node.js redis GitHub 开源 赚钱

RAG 驱动的 Copilot 为 Uber 节省了 13,000 个工程小时_性能优化_InfoQ精选文章