1 月 16 日,网易有道宣布自研的知识库问答引擎 QAnything 正式开源,除了可以调用云端大模型服务,还支持纯本地部署,所有用户可免费在开源社区 Github 内进行下载,一键部署即可使用。该系统目前支持 word、ppt、excel、pdf、图片等多种文档格式,直接导入进去即可实现像"ChatGPT"一样问答。
据悉,QAnything 的主要原理是基于检索增强的生成(Retrieval Augmented Generation,简称 RAG),能够利用检索外部内容的方式增强大语言模型的准确度、专业能力和个性化等各方面的性能。
QAnything 作为有道自研的 RAG 引擎,结合了用户私有数据和大模型的优势——用户的任何内容,以任意的形式存在,比如各种格式的文档,音频,数据库等,都可以在 QAnything 的支持下,变成可以针对其内容进行问答的使用方式,通过这个技术框架用户可以很方便地搭建自己的智能知识助手。
值得一提的是,本次开源的 QAnything 是一套完整的 RAG 系统,包括专门优化的自研的 embedding 和 rerank 模型,微调后的 LLM,优化后的推理代码,向量数据库,以及一个立即上手可用的前端。所有的算法模型(包括 7B 大模型+embedding/rerank+OCR)占用显存不超过 16G。
如今,QAnything 已在有道的多个产品中应用,包括有道翻译文档问答、有道速读及有道内部业务的客服系统等。以子曰教育大模型最新发布的创新应用成果“有道速读”为例,有道速读内置了文档问答、文章摘要、要点解读、引文口碑和领域综述五大功能,能够帮用户更快更准地获得信息和对文档的理解。而该功能背后的驱动就是 QAnything,在大模型技术的加持下,用户能够实现快速理解文档、定位要点,实现 1 分钟读完万字长文。
“目前,QAnything 项目还在不断迭代,欢迎大家参与开发,并给予我们更多反馈。我们希望能帮助有需要的开发者们,和更多伙伴一起推动大模型的落地。”网易有道首席科学家段亦涛介绍道。
公众号推荐:
跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。
评论 3 条评论