聚焦大模型浪潮下软件工程的创新洞见与实践 |QCon主题演讲大咖来袭 了解详情
写点什么

企业大模型应用开发提速!浪潮信息重磅发布元脑企智 EPAI 一体机

InfoQ

  • 2024-09-29
    北京
  • 本文字数:3600 字

    阅读完需:约 12 分钟

企业大模型应用开发提速!浪潮信息重磅发布元脑企智EPAI一体机

9 月 27-29 日,2024 中国算力大会在郑州举行。会上,浪潮信息重磅发布元脑企智 EPAI 一体机,通过软硬件高度协同的一体化设计,为客户提供多元多模、简单易用、本地部署、安全可靠的大模型开发平台,显著提高企业大模型以及 AI 原生应用的开发效率,加速大模型产业化落地。

大模型落地挑战巨大


随着大模型和生成式技术的飞跃式发展,基于大模型的应用创新正在成为新的主题,如何以大模型赋能现有的技术、业务,已成为企业在新一轮技术周期中保持竞争力的要素之一。但企业在应用大模型的过程中往往面临着诸多挑战,如生态离散导致的多元多模适配难,模型训练和部署复杂、数据治理难、模型“幻觉”问题以及对专业技术人才的依赖等,导致大模型与行业场景的融合进展缓慢。


首先,多元多模适配难度大、周期长、成本高。不同场景、不同业务对模型能力的多样需求,业务生产环境往往是多模并存的状态,而由于芯片生态离散、特定应用加速等原因,所使用的算力资源也是多元并用的。因此,大模型应用开发需考虑与多元算力、多样大模型的选择、适配、组合调度等问题,难度大,周期长,成本高。


其次,巨大参数量级的通用大模型,很难直接用于复杂、离散的行业场景,各行业知识专业化程度高,可迁移性低,通用大模型本身难以覆盖,所以经常出现大模型“幻觉”或是“胡言乱语”的问题,因此必须结合行业和企业专业数据进行再学习。


最后,要实现大模型与行业场景的深度结合,实现高效、高可靠、高质量的模型应用效果,涉及数据、微调、RAG、部署、上线和运维等极为复杂的流程,特别是数据治理和模型微调,需要具有丰富经验的实施团队才能胜任,技术门槛高。

元脑企智 EPAI 一体机,让大模型开发快到飞起


对于大多数企业而言,大模型应用开发的系统性、复杂性,往往让企业对大模型开发望而却步。因此,实现大模型的深入行业应用与广泛落地,关键在于如何有效提高 AI 应用创新的质量和效率,卓越的大模型及应用开发工具成为释放智能生产力的关键。


浪潮信息元脑企智 EPAI 一体机基于专为大模型应用场景设计的元脑服务器,搭载了元脑企智 EPAI 企业大模型开发平台,支持多元算力、多模管理、全链工具以及本地部署,可一站式解决数据处理、模型微调、RAG 搭建、模型部署、应用上线和系统运维等环节开发难题,为客户提供多元多模、简单易用、本地部署、安全可靠的大模型应用开发平台,满足企业人工智能应用从开发到实施的全栈需求。



多元多模:元脑企智 EPAI 一体机具备多元算力和多模管理能力,通过大模型计算框架 TensorGlue 实现异构算力调度,通过算子基础化技术实现上层模型算法和下层基础设施的逻辑解耦,从而高效的屏蔽模型和芯片差异,降低企业跨算力平台迁移、多元模型部署适配的试错成本。目前,元脑企智 EPAI 一体机可以支持 10+业界主流大模型计算框架,内置 7 个主流基础大模型,预设了 20+微调参数,用户可以针对知识问答、智能编码、文档理解、智能助手等不同应用场景和任务需求,选择最佳产品型号和模型算法,快速开发模型应用。


简单易用:元脑企智 EPAI 一体机提供从数据准备、大模型微调、知识库构建、大模型部署上线运维的全流程支持工具链。其中,针对数据准备,预先内置了上亿条基础知识数据以及自动化数据处理工具,支持 10 种以上企业常见的数据格式,并且以超过 95%的抽取准确率,把这些数据转化为知识库以及可供模型进行微调的数据;针对大模型微调,采用低代码可视化界面来进行微调,并且内置了 Lora、SFT 等多种微调框架以及 20 多种优化参数,用户可依据具体业务需求和数据特性,选择最为合适的框架与技术,快速且低成本地构建起企业专属大模型能力。


本地部署、安全可靠:由于大模型应用开发需要结合企业私有数据,要求企业数据不出域。本地部署可以确保用户数据不被上传至云端,避免数据泄露和滥用的风险,这在处理敏感信息或符合严格数据保护法规的行业中尤为重要。元脑企智 EPAI 一体机的本地化部署模式提供全链路的企业数据防护能力,设置多级过滤和审核体系,让数据的流转更安全,让生成结果更可靠,构建起一个既能充分利用数据价值,又能保护用户隐私、符合法规要求的安全数据处理环境,做到“数据可用不可见”。



元脑企智 EPAI 一体机能显著提升大模型应用的开发效率,并极大节省人力成本。据悉,浪潮信息先行先试,采用 1 台元脑企智 EPAI 一体机标准版,低代码完成企业知识库构建、模型微调、应用开发等工作,1 人 1 月即简单高效、低门槛地打造出智能售前助手“元小智”,赋能日常售前业务,实现智慧化变革,团队工作效率提升 3-5 倍。



浪潮信息产品方案开发部总经理魏健表示,本次发布了基础版、标准版、高级版、创新版和集群版五个版本,主要面向制造、金融等行业客户、传统 ISV 和 SI 三类用户提供一站式大模型生产及应用全流程开发工具链,同时支持接入更多元脑伙伴的算法和模型能力,共同打造 AI 原生应用开发的“超级工作台”,加速 AI 应用创新和落地。

广泛赋能企业各类应用场景,提升智能生产力


智能投标助手:浪潮信息方案开发团队先行先试,采用 1 台元脑企智一体机标准版,低代码完成企业知识库构建、模型微调、应用开发等工作,1 人 1 月即简单高效、低门槛地打造出智能售前助手“元小智”,赋能日常售前业务,实现智慧化变革,团队工作效率提升 3-5 倍。解决了招投标数据处理缺少工具、专业知识门槛高、业务效率低下、准确率难以保证、数据防泄漏等问题,大大缩短了应用开发周期,降低了人力成本,提升了投标文件审查效率。


智能客服大脑:采用 1 台元脑企智一体机基础版,基于浪潮信息高效微调 MoE 大模型“源 2.0-M32”构建智能客服平台,将公司内部产品资料构建专属知识库,通过数据抽取、格式转换,生成高质量的微调数据,投喂给“源”大模型。历时 6 个月,结合知识蒸馏、压缩等技术,构建浪潮信息的“智能客服大脑”。解决了传统人工智能客服在处理非标准或开放式问题时能力有限、知识库更新难度大、信息过时或不准确等问题,常见问题解决率 80+%,复杂问题处理时长缩短 65%,大大降低售后客服人员压力,人效提升 30%。


智能编程助手:支持浪潮信息多个研发部门,利用元脑企智一体机开发周期缩短至 2 天,由 AI 自动生成超过 65%的计算框架代码,整体采纳率 50%,为研发工程师每天节省近 3 个小时的代码开发时间,大幅提升效率,解决了代码工程可读性差、开发时间长等问题。


除此之外,还广泛赋能企业的各类应用场景,例如研发领域的编程助手、个人办公助理、部门助理、操作系统助手、产品设计助手等,开发速度快,低至 1 周;培训周期短,最快 3 天;应用效果好,企业知识驱动;安全可靠,全链路数据安全。


行政领域的员工服务、内训讲师、招聘 JD 生成、招聘助手、公文写作等,满足行政部门的多样化需求,提高工作效率。


销售领域的智能客服、投标助手、文案写作、产品文档翻译、BI 系统助手等,提升销售环节的服务质量和效率。


生产/供应链领域的故障自动识别、维修方案生成、供应链信息系统助手、AI 质检、最优化策略方案等,优化生产和供应链管理。

元脑企智 EPAI 聚焦大模型新技术,探究更多落地的可能性


在会后的采访中,魏健解释了浪潮信息推出元脑企智 EPAI 大模型一体机的背景。当前市场趋势与传统企业应用之间存在巨大差距,浪潮信息希望帮助这些企业快速实现大模型的应用落地。而浪潮信息目标客户群体主要来自这几方面,一是传统制造业客户,这类客户通常拥有丰富的数据和人员资源,并且有应用牵引的趋势。


其次是传统 ISV(独立软件供应商),例如金融行业的中科软和南天等,他们也非常积极的投入研究大模型应用。最后就是 SI(集成商),他们面临的挑战在于服务需求的满足,特别是在大模型调优能力方面。


浪潮信息架构师 Owen ZHU 博士表示,元脑企智 EPAI 一体机聚焦的是大模型落地,落地应用和基础研发之间是有时差的,基础研发现在聚焦的是模型本身的推理、规划的复杂任务的能力,但是落地需要聚焦在问答场景、知识总结梳理和生成的场景,比如生成报表或者生成文案。


元脑企智一体机也应用了很多新的技术,比如说监督微调、人类反馈强化学习等,作为 AI 应用架构师,Owen ZHU 认为这些技术提升了大模型在应用场景的适应性和准确性。大模型从预训练、微调、推理三个阶段展开,现在业界的关注点已经到了微调和推理,微调技术非常复杂、技术门槛高、迭代速度快,浪潮信息 AI 团队也在尝试各种方法,比如指令微调,或者人类偏好数据微调、高效微调。通过这些高效微调的技术,可以用很小的显存量就能把微调跑起来。也就是说在新技术的加持下能够降低算力门槛。而且目前元脑企智一体机预制的算法、模型都是研究好,可以直接使用的,同时内部配置了 20 多种参数,这些都是浪潮信息 AI 团队的经验输出。


通过这次采访,我们了解到浪潮信息一体机的推出是为了帮助企业,特别是传统企业,快速实现大模型的应用落地。浪潮信息针对不同的客户群体,提供了定制化的解决方案,并在元脑企智 EPAI 一体机中集成了多种微调技术,以降低技术门槛和算力需求。同时,浪潮信息也在积极探索新技术,以提升大模型的适应性和准确性。

2024-09-29 22:0010768

评论

发布
暂无评论

DAO社区的胜利,Tiger DAO VC胜在治理与共识

西柚子

融云互联网通信安全系列之端到端加密技术

融云 RongCloud

Android C++系列:C++最佳实践6 constexpr与decltype

轻口味

c++ android ndk jni 4月月更

Windows注册表内容

Sher10ck

注册表

关于缓存更新的一些可借鉴套路

架构精进之路

缓存 4月日更 4月月更

怒肝 JavaScript 数据结构 — 队列篇

杨成功

数据结构 4月月更

怒肝 JavaScript 数据结构 — 队列实战篇

杨成功

数据结构 4月月更

不要把公司对你的要求作为目标

张泽豪

职场 观点

学生管理系统架构文档

小虾米

架构实战营

微信小程序开发系列(一) :开发环境搭建和微信小程序的视图设计与开发

汪子熙

微信小程序 微信 开发视图 微信小程序专栏 4月月更

解决报错:SSL certificate problem: certificate has expired

liuzhen007

SSL证书 4月月更

架构实战营作业三

热猫

在线YAML转HTML工具

入门小站

工具

融云首席科学家任杰:互联网兵无常势,但总有人正年轻

融云 RongCloud

浅析分布式系统之体系结构 技术基本目标----一致性(单对象、单操作)

snlfsnef

分布式 系统设计 基本原则 一致性 设计思想

极致体验,揭秘抖音背后的音视频技术

火山引擎边缘云

音视频 边缘计算 音视频技术

残酷春天里的中国科技(四):跨越地方保护主义

脑极体

现在企业开发哪种APP有前景?

源字节1号

微信小程序 软件开发 前端开发 后端开发

怒肝 JavaScript 数据结构 — 双端队列篇

杨成功

数据结构 4月月更

模块三-学生系统详细架构设计

ASCE

未来几年如何把握住音视频开发的大浪潮,音视频高级开发工程师培养计划

赖猫

音视频 编程开发 音视频开发

利用 Dio 完成数据更新的 Patch 请求

岛上码农

flutter 安卓开发 4月月更 跨平台开发 ios 开发

linux之fping命令

入门小站

Linux

在线CSV转XML/JSON工具

入门小站

工具

架构实战营-外包学生管理系统架构文档

CityAnimal

架构实战营 #架构实战营 「架构实战营」

外包学生管理系统--架构详细设计方案

凯博无线

【漏洞分析】jdk9+Spring及其衍生框架

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 漏洞挖掘

面对裁员潮,程序员如何安身立命

融云 RongCloud

[Day20]-[动态规划]零钱兑换 II

方勇(gopher)

LeetCode 动态规划 数据结构算法

基于DDD思想的技术架构战略调整

Qunar技术沙龙

DDD 构架

DAO社区的胜利,Tiger DAO VC胜在治理与共识

小哈区块

企业大模型应用开发提速!浪潮信息重磅发布元脑企智EPAI一体机_芯片&算力_InfoQ精选文章