写点什么

财报会议新时代:如何将 AI 训练成资深 CFO

作者:鱼哲,Lepton AI 创始成员

  • 2023-07-27
    北京
  • 本文字数:2754 字

    阅读完需:约 9 分钟

财报会议新时代:如何将AI训练成资深CFO

这是由 AI 平台公司 Lepton 和著名 LLM 工具平台 LangChain 合著的,关于如何通过微调的方式,来实现更加“聪明”的大模型的实践文章。InfoQ 经 Lepton 授权后翻译,如需转载译文,请联系 InfoQ 申请转载授权。


原文链接:https://mp.weixin.qq.com/s/RPgc-56EH8ti0dnCmp0pBQ

 

简介


各位有没有参加过财报电话会议,特别是向 CFO 们抛出一个个尖锐问题?曾几何时,这是只有摩根大通、高盛和摩根士丹利这帮高端投资者才具有的特权。


但随着大语言模型的普及,加上适当的技术调教,如今情况已大不相同。如果嫌内容太长,大家也可以直接访问此处的演示(https://earningsage.lepton.run/),其中数据来自苹果 2023 年第二季度财报电话会议上的内容。


提问:您觉得生成式 AI 对苹果产生了哪些影响?


财报机器人:谢谢您的提问。如您所知,我们多年来一直在产品中使用 AI 技术。我们用它让产品更智能、更个性,并创造出新的、令人惊叹的使用体验。有些朋友可能一直觉得苹果只在自身产品上投资,但其实我们也在投资 AI。我们为此设立了庞大的专项团队,也对所取得的进展感到非常兴奋。而且我们坚信,AI 应该面向所有人开放,我们也在致力于解决人工智能的可解释性问题。我们正努力攻克难关,打造出透明、负责任且用于公益的 AI 方案,给所有人带来巨大收益。


下面,我们将一同走近尖端技术与财务智能的结合领域,深入探讨 AI 技术的应用与变革过程,了解它究竟是怎么学会像资深 CFO 一样侃侃而谈的。



问题陈述


首先,我们需要将上述挑战拆分成一个抽象概念,希望能帮助大家从工程层面理解我们面临的问题。简而言之,这个问题可以转换成:



将原始财报会议记录、文本生成模型(可能主要是 OpenAI ChatGPT 3.5)和工具集(Python、Lanchain、Chroma 等)有机结合起来,从而模仿 CFO 的言谈举止。

关于流程的思想实验

从 OpenAI 起步


我们先使用来自 OpenAI 的 ChatGPT 3.5 和 Langchain 检索 QA 链,这目前基本是有意构建 AI 应用程序的开发者们的标准操作流程。现在,我们的解决方案如下图所示:



不出所料,ChatGPT 3.5 面对这些简单问题表现得相当从容。比如,我们可以问它“这次财报电话会议涵盖了哪些内容?”从原型设计角度看,开源工具已经相当成熟。所以我们的首个产品版本很快就能构建完成。但面对更复杂的问题,ChatGPT 却只能乖乖投降。


以下是 ChatGPT 3.5 回复的完整问题列表:

 

之后,我又试了试初版 Vicuna


我是无意间听朋友说起 Vicuna 的。身为开源开发者(我在 Jupyter Lab 工作),我决定亲自试试。这是款开源聊天机器人,基于 ShareGPT 收集到的用户共享对话对 LlaMa 进行微调而成。到这一步,我们的解决方案如下图所示:



这里最棘手的部分,在于该产品的首个版本是基于 Langchain 构建的,而 Langchain 最初又是基于 OpenAI 的 API 构建的。跟其他提示工程框架类似,在不同模型间往来迁移时总要面对很多兼容性问题。比如其他模型可能不提供同样的嵌入 API 端点,或者其 tiktoken 库不支持某些模型等。


考虑到这个问题,Lepton.AI(https://www.lepton.ai/)的工程团队找到了一种方法,能让模型与原始 OpenAI 的 API 端点相兼容,这就让大语言模型应用的模型切换变得更容易。现在,模型服务能够轻松改变环境,使用户得以简单完成模型切换。例如,由: 


OPENAI_API_BASE=https://api.openai.com/v1OPENAI_API_KEY=YOUR_OPEN_API_KEY
复制代码


切换为:


OPENAI_API_BASE=YOUR_DEPLOYMENT_URLOPENAI_API_KEY=YOUR_LEPTON_AI_API_KEY
复制代码


乍看之下,结果已经相当可靠,但我们还得找到能准确评估输出结果的办法。这时候就要请出 LangSmith (https://smith.langchain.com/)了。它能帮助我们添加四行代码来轻松更改环境变量,并接手解决余下的所有工作。

事实证明,微调模型性能更好


尽管原版模型不会像 ChatGPT 3.5 那么快放弃,但在语言表达方面仍然没有 CFO 那个“范儿”。换言之,它的谈话方式给不了我参加顶级金融人才云集的财报电话会议那种感觉。


因此,受 llama 微调模型 Vicuna 的启发,我决定用部分财报会议数据微调一个领域模型。通过从记录中收集到的数据,我成功提取到大量会议记录。之后使用 TUNA(一种面向数据和模型的增强服务),我顺利构建起更熟悉财报会议背景的模型。到这里,我们的解决方案已经成了下面的样子:



以下是问题列表对应的部分查询结果:


同样的,我对代码做出的唯一调整就是 OPENAI_API_BASE,其他均可保持原样。在 LangSmith 的帮助下,我得以快速比较输出结果,并将其分享给其他感兴趣的朋友。

总结


总体来看,将数据与大语言模型技术(包括数据增强和微调)相结合,标志着 AI 应用开发迎来了一个关键里程碑。通过将大量多样性数据集同大语言模型对接起来,我们释放出了前所未有的潜力,让 AI 系统能够生成更准确、具备上下文感知且输出连贯顺畅的结果。数据与大语言模型间的协同作用不仅增强了 AI 应用的整体性能,同时也为更多创新和发现开辟出新的可能性。


随着不断完善和扩展对这种动态关系的理解,我们正踏上一段新的旅程,用数据驱动见解和高级语言模型的融合重新定义更多可能性,并有望最终步与卓越 AI 新时代、彻底改变我们的交互方式与技术手段。未来就在前方,我们正满怀信心地迎接 AI 超越预期、成为进步路上不可或缺的全新资产类型这一伟大愿景。


关于本文提到的工具,LangSmith 和 LeptonAI 目前仍处于内测阶段,大家可以注册候补名单、申请亲自体验。另外,也欢迎大家给我写邮件(uz@lepton.ai),期待听到大家的感受和意见。


相关链接:

2023-07-27 17:454077

评论

发布
暂无评论
发现更多内容

游戏+NFT,脱虚向实外的另一可行场景

CECBC

2021金九银十最新338道大厂Java架构面试高频题目+答案详解

爱好编程进阶

Java 面试 后端开发

Docker镜像超详细介绍

爱好编程进阶

Java 面试 后端开发

Filter 过滤器和 Listener 监听器

爱好编程进阶

Java 面试 后端开发

LLVM之父Chris Lattner:编译器的黄金时代

OneFlow

编程语言 编译器 LLVM 加速器 MLIR

如何选择合适的 Neo4j 版本(2022)

亮小猪

neo4j 图数据库 图算法

Android ANR分析(trace文件的产生流程)

北洋

4月月更

阿里云云效研发协同服务相关协议条款 |云效

阿里云云效

云计算 阿里云 运维 研发 研发协同

智慧公安二维码定位报警系统开发 移动警务app

a13823115807

IDEA中Maven依赖下载失败解决方案

爱好编程进阶

Java 面试 后端开发

海口等保测评公司有几家?具体在哪里?哪里可以查到?

行云管家

网络安全 等保 等保测评 海南 海口

用数字“钥匙”打开发展新空间

CECBC

Docker:第七章:Docker搭建私服-本地镜像库

爱好编程进阶

Java 面试 后端开发

2022年4月中国数据库排行榜:春风拂面春意暖,分数回升四月天

墨天轮

数据库 opengauss 国产数据库 KingBase gbase8a

解锁OpenHarmony技术日!年度盛会,即将揭幕!

OpenHarmony开发者

OpenHarmony 技术日

关于Signal Catcher线程中对线程的理解

北洋

4月月更

在安卓应用市场上架需要注意什么?

InfoQ IT百科

区块链+数字资产,未来财富的新起点

CECBC

数字化时代,SaaS软件如何成为国产化替代的轻骑兵?

小炮

数字化时代,企业运维面临现状及挑战分析解读

云智慧AIOps社区

大数据 运维 数字化时代 大数据运维

36天突击腾讯终拿Offer! Redis、高并发

爱好编程进阶

Java 面试 后端开发

53w字!阿里首推系统性能优化指南太香了,堪称性能优化最优解

爱好编程进阶

Java 面试 后端开发

如何以Sonar为例创建一个适用与所有企业的测试步骤

阿里云云效

阿里云 运维 测试 sonar 研发测试

架构实战毕业总结

王大胖

数据仓库架构演变和建设思路

五分钟学大数据

数据仓库 4月月更

索信达获金融街资本1亿元投资

索信达控股

SWOOLE高性能内存数据库的使用和配置教程

CRMEB

Clubhouse为什么不火了?

InfoQ IT百科

Alibaba内部流行的“Java突击宝典”

爱好编程进阶

Java 面试 后端开发

Ceph实战(一)-分布式存储介绍与原理架构概述

爱好编程进阶

Java 面试 后端开发

一级等保怎么做?要收费吗?等保要求是什么?

行云管家

网络安全 等保 等保2.0 一级等保

财报会议新时代:如何将AI训练成资深CFO_生成式 AI_InfoQ精选文章