Quarkus 开发基于 LangChain4j 的扩展，方便将 LLM 集成到 Quarkus 应用程序中_编程语言

AICon日程100%就绪，9折倒计时最后一周了解详情 



 写点什么

Quarkus 开发基于 LangChain4j 的扩展，方便将 LLM 集成到 Quarkus 应用程序中

LangChain for Java（LangChain4J）战略顾问和布道师 Lize Raes 在 2023 年比利时 Devoxx 大会上做了“Java Meets AI”的演讲，受此启发，Quarkus 团队开始开发基于 LangChain4J 库的扩展，这是 LangChain 库的 Java 重新实现版本（最初用 Python 或 JavaScript 实现）。这将允许开发人员将大语言模型（LLM）集成到他们的 Quarkus 应用程序中。Quarkus LangChain4J 第一个公开版本，即 0.1 版本，在 2023 年 11 月中旬发布。这个扩展几乎每周都会发布一次，最新版本是 0.5.1。

InfoQ 采访了 Quarkus 项目联合负责人 Max Rydahl Andersen，分享了他对该扩展未来发展以及是否适合投产的看法。他说：

在真实项目中使用它？可以尝试，但 langchain4j 的 API 仍在变化，所以我们还处于实验阶段。
我们将继续跟进 langchain4j 并不断扩展它。我们十分关注扩展对“开放”模型的支持，特别是那些可以在云端或本地基础架构上运行的模型。

Andersen 认为 LLM 可以被用在现有和未来的许多企业项目中，他认为新兴的编程模型与 Quarkus 现有的功能集相契合。该扩展允许声明性地定义 LLM 集成点，类似于 Quarkus REST Client：用 @RegisterAiService 注解接口，然后通过在应用程序的任意位置注入服务来使用 LLM。这种方法具有以下优点：

可测试性，可以通过伪接口实现来模拟服务 ;
可观测性，开发人员可以用指标注释来监控方法 ;
弹性，开发人员可以通过容错注释来处理故障、超时和其他临时问题。

@RegisterAiServicepublic interface TriageService {  // methods.}

复制代码

在使用像 ChatGPT 这样的 LLM 时，大多数交互是通过自然语言提示进行的，而在传统应用程序中，交互是通过编程语言进行的。与传统代码不同，quarkus-langchain扩展保留了与 LLM 交互的方式，允许开发人员通过自然语言定义范围和任务。LLM 的范围可以通过 @SystemMessage(String) 注解来定义，任务可以通过 @UserMessage(String) 注解来定义。

@RegisterAiServicepublic interface TriageService {    @SystemMessage("""        You are working for a bank, processing reviews about        financial products. Triage reviews into positive and        negative ones, responding with a JSON document.        """    )    @UserMessage("""        Your task is to process the review delimited by ---.        Apply sentiment analysis to the review to determine        if it is positive or negative, considering various languages.
        For example:        - `I love your bank, you are the best!` is a 'POSITIVE' review        - `J'adore votre banque` is a 'POSITIVE' review        - `I hate your bank, you are the worst!` is a 'NEGATIVE' review
        Respond with a JSON document containing:        - the 'evaluation' key set to 'POSITIVE' if the review is        positive, 'NEGATIVE' otherwise        - the 'message' key set to a message thanking or apologizing        to the customer. These messages must be polite and match the        review's language.
        ---        {review}        ---    """)    TriagedReview triage(String review);}

复制代码

由于大型语言模型的知识收到训练集数据的限制，Quarkus LangChain4j 扩展提供了两种机制来扩展知识：工具和文档存储。

工具允许 LLM 与父应用程序发生交互，它通过调用 REST 端点或执行数据库查询来实现交互。LLM 决定要使用的参数以及如何处理结果。要声明一个工具，只需在 bean 方法上使用@Tool注解：

@ApplicationScopedpublic class CustomerRepository implements PanacheRepository<Customer> {
    @Tool("get the customer name for the given customerId")    public String getCustomerName(long id) {        return find("id", id).firstResult().name;    }}

复制代码

文档存储是 Quarkus 的检索增强生成（RAG）实现，这是一种用与感兴趣主题（用户手册、内部文档等）有关的文档来扩展 LLM 上下文的机制。从文档中获取信息包括两个步骤：

摄入过程——解析文档并计算其向量表示，然后存储在文档存储库中。Quarkus 提供了一个 Ingestor 来简化信息的摄入。

@Inject    EmbeddingModel embeddingModel;
    public void ingest(List<Document> documents) {        var ingestor = EmbeddingStoreIngestor.builder()                .embeddingStore(store)                .embeddingModel(embeddingModel)                .documentSplitter(recursive(500, 0))                .build();        ingestor.ingest(documents);    }}

复制代码

RAG 过程——在调用 LLM 之前，查询文档存储并丰富上下文。Quarkus 在这里使用的是 Retriever。

@ApplicationScopedpublic class RetrieverExample implements Retriever<TextSegment> {
    private final EmbeddingStoreRetriever retriever;
    RetrieverExample(RedisEmbeddingStore store, EmbeddingModel model) {        retriever = EmbeddingStoreRetriever.from(store, model, 20);    }
    @Override    public List<TextSegment> findRelevant(String s) {        return retriever.findRelevant(s);    }}

复制代码

目前，该扩展支持 Redis Store、Chroma Store、Pinecone Store、PgVector（PostgreSQL）Store、进程内 Embedding 或加载 CSV 文件以及与商业（例如 OpenAI）和开源模型（例如 Hugging Face 或 Ollama）进行交互的能力。

Quarkus 紧跟 Spring Framework 的脚步，加入了嵌入 AI 能力的行列。该实现基于 LangChain4j，并得到了 LangChain4j 作者 Dmytro Liubarskyi 及其团队的支持。因为发展迅速，团队正在寻求反馈和想法来改进这些集成。Andersen 表示，LLM 扩展是对其他现有集成非常好的补充：可以集成各种数据摄入系统（例如，通过 Apache Camel 集成），而 Quarkus 的云原生 DNA 可以实现轻松高效的部署。

查看英文原文：

https://www.infoq.com/news/2023/12/quarkus-langchain-llm-integratio/

声明：本文为 InfoQ 翻译，未经许可禁止转载。

颠覆软件工程、“杀死”开发者？回溯大模型落地应用这一年 | 盘点

今年向量数据库“杀疯了”，但纯向量数据库“凉”了？| 盘点

金融业采用大模型，是“用大炮轰蚊子”吗？| 盘点

发布

暂无评论

创作场景

Quarkus 开发基于 LangChain4j 的扩展，方便将 LLM 集成到 Quarkus 应用程序中

评论

数字化转型背景下经管大数据课程教学能力进阶提升训练营，线下培训圆满收官！

在 React 中渲染大型数据集的 3 种方法

软件测试 | mysqlshow(数据库对象查看工具)

铜锁 SM2 算法性能优化实践（二）｜快速模约减算法实现

EPM时代，国产化替代夺回话语权

权威认证 I ONES 连续5年通过可信云企业级 SaaS 服务评估

华为云第二期线下meetup·北理工站圆满落幕

平台工程社区：与全球 2w+ 早期实践者同行

中国出海企业如何防范恶意退货欺诈

什么是数字化？数字化转型概念是怎么兴起的？

GaussDB技术解读系列之SQL Audit，面向应用开发的SQL审核工具

如何为物联网设备注入“华为云+鸿蒙DNA”?

LeetCode题解：剑指 Offer 56 - I. 数组中数字出现的次数，哈希表，JavaScript，详细注释

AI+游戏，内容生产力的又一次变革

直击运维痛点，大数据计算引擎 EasyMR 的监控告警设计优化之路

FastAPI简介：快速理解Python Web框架的新标杆

如何通过Python线程池实现异步编程？

MIAOYUN获评“2023年度一云多芯稳定安全运行优秀案例”

站在营销的角度浅谈直播行业

软件测试 | 日志的删除

首期"源规律"开源公益课程正式上线

LED透明屏清晰度受什么影响

作为CTO，我真正想要的可观测性平台

如何解决大量小文件传输慢的问题

第二期开源答题挑战，看看你是什么级别吧！

软件测试 | mysqlhotcopy（MyISAM表热备份工具）

方法论揭秘｜研发数字化转型，这家保险企业做对了什么？

落实《中国人民银行业务领域数据安全管理办法》，极盾科技是怎么做的？

全新升级！腾讯云大数据ES Serverless服务开启日志分析新体验

代码随想录Day36 - 贪心算法（五）

创作场景

Quarkus 开发基于 LangChain4j 的扩展，方便将 LLM 集成到 Quarkus 应用程序中

评论

推荐阅读

电子书

大厂实战PPT下载