50万奖金+官方证书,深圳国际金融科技大赛正式启动,点击报名 了解详情
写点什么

“驯服”可控大模型,白海发布一站式大模型微调平台 IDP LM

  • 2023-06-29
    北京
  • 本文字数:1491 字

    阅读完需:约 5 分钟

“驯服”可控大模型,白海发布一站式大模型微调平台IDP LM

ChatGPT 的破圈之旅,拉开了大模型“诸神之战”的序幕,据不完全统计,2020 年至 2023 年间,中国已发布了 79 个参数在 10 亿规模以上的大模型。而仅仅 2023 年前 5 个月,中国以 19 个大模型开发数量位居榜首,国内典型大模型包括:阿里的 M6,百度的文心大模型,华为的盘古,科大讯飞的星火,商汤的日日新,智谱科技的 ChatGLM 等,共同打造完整的中国大模型生态链路。


然而,在大模型如火如荼的背后,幻觉(hallucination)倾向就越发的明显,它正在越发的生产着 “完全没有出处的非真实内容”。这样对于商业化而言是一个巨大的挑战,来面对一个不可控、不可预测和不可靠的大模型。


而对于不同行业、场景和客户来说,大模型要落到垂直细分行业中,才能发挥其应有价值,可控的大模型才是有意义的。为了增强大模型在特定领域或任务上的表现,通常需要对基础大模型进行针对性的高质量微调。然而,如何实现高效和可控的微调是当前行业大模型构建面临的普遍挑战。


白海 IDP(Intelligent Development Platform) LM 致力于帮助客户克服这一挑战,通过提供一站式的大模型微调工具,来“驯服”大模型,实现用低门槛、高效和可控的方式来构建垂直行业专属大模型,具体目标包括为客户提供:

  • 干净、准确的微调训练数据

  • 严格的反馈回流数据审核

  • 全面、综合的模型评估

  • 高效高性能的微调和推理服务


IDP LM 工具化了大模型微调技术(RLHF)的全流程,不仅技术人员,业务人员也可以轻松进行模型微调。同时,IDP LM 提供预训练的领域模型,极大地降低了大模型微调应用的门槛和冷启动成本。除低门槛、低成本外,我们一直坚信,对于大模型在具体行业或场景的应用落地,“可控”是必须的。


在去年 Stable Diffusion 的微调工具构建时,我们就明确了白海的生成式 AI/大模型加速平台的 SQL 目标:即安全可控(Safe)+ 合格(Qualified) + 低成本/低门槛 (Low cost ) 。


“AI 画作《太空歌剧院》为例,这幅画在美术比赛上拔得头筹惊艳四座,但背后生成了 900 多个版本,耗费 80 多个小时,才得到最终的作品。该画基于扩散模型生成,作为潜在变量模型,扩散模型赋予了 AIGC 开放性的创造力,但可控性仍不尽如人意,无法限制在一个具体的预期里,这对商业化会带来很多问题。” 创始人卢亿雷曾表示,”不仅对于 AI 绘画模型如此,大语言模型的行业应用更是面临可控性的挑战。在实际的行业应用中,如金融、医疗等,问答的不可控会带来严峻的后果。“


因此,IDP LM 除了在将大模型微调流程训练工具化外,在数据的处理、数据标注、数据审核和模型评估方面也提供了易用的工具和经验证的高效方法。

  • 在数据清洗和数据增强方面,自动支持数据清洗、同义词替换、随机插入、随机删除、句子重组等。

  • 数据标注方面,我们提供适用于大模型场景的标注工具,如答案质量打分,答案补充,便捷高效的支持数据的标注和数据的训练应用。

  • IDP LM 同时提供自动化的反馈数据回流与应用,这一过程中,对反馈数据的质量审核至关重要。IDP LM 为审核员提供了专门的看板,并基于系统算法提供审核建议和指导,保证反馈回流数据的质量、有效、无害。


大模型的有效评估也是影响模型效果的重要环节。IDP LM 支持自动评估和人工评估,从准确度、安全性、稳定性、领域的专业适用性等角度,对模型效果进行严格把关。IDP LM 目前已在交互式数字人、AI 问诊等领域服务企业客户。我们将继续在重点行业深耕,为客户提供更加简单、易用、完善的大模型构建工具和解决方案支持。


我们始终以“让 AI 更简单、更快速、更高效“的使命为指引,IDP LM 的推出是践行这一使命的重要一步。我们诚挚邀请行业客户和产业链的伙伴和白海 IDP LM 一同,推动大模型在各行业的应用价值创造,驯服可控大模型的为垂直行业及场景所用。

2023-06-29 16:565161
用户头像

发布了 114 篇内容, 共 81.1 次阅读, 收获喜欢 206 次。

关注

评论

发布
暂无评论
发现更多内容

阿里云AIoT物联网平台如何实现设备全球就近接入——设备接入类

阿里云AIoT

运维 监控 物联网 中间件 数据采集

大资管行业数字化转型解决方案 | 行业方案

袋鼠云数栈

大数据 数字化转型 解决方案

浪潮inBuilder低代码平台社区版来了!

inBuilder低代码平台

开源 低代码 企业级低代码平台

解决运行VMWare虚拟机报错“打不开 /dev/vmmon:断裂管道”

互联网搬砖工作者

焱融为国家电网打造存算一体的融合基础架构 助推能源行业新基建

焱融科技

文件存储 容器存储 分布式文件存储 高性能存储 国家电网

阿里120W年薪架构师力荐750页微服务架构深度解析笔记

程序知音

Java 微服务 编程语言 后端技术

物联网数据应用开发最佳实践——数据价值类

阿里云AIoT

数据挖掘 物联网 存储 数据管理 调度

AGI时代即将降临,现代化产业建设的出路又在何处?

加入高科技仿生人

低代码 AGI 现代化产业

企业支出如何一眼看全局,用友BIP很在行

用友BIP

商旅费控

实战|网站监控如何做好监测点管理与内网数据采集

云智慧AIOps社区

安全 监控 监控宝 云智慧 网站监控

火山引擎DataLeap:数据秒级生产,揭秘电商实时数仓最佳实践!

字节跳动数据平台

数据治理 电商 数据研发 企业号 3 月 PK 榜

Tapdata Connector 实用指南:云原生数仓场景之数据实时同步到 Databend

tapdata

数据库 大数据

从“可用”到“好用” 京东云构建融合开放适配国产化应用的全栈产品矩阵

京东科技开发者

国产化 京东云 国产化替代 京东云峰会

技术详解 阿里云AIoT物模型支撑设备规模已超亿级——设备管理运维类

阿里云AIoT

运维 安全 监控 物联网 芯片

有效载荷标识与内容类型--MQTT 5.0新特性

EMQ映云科技

物联网 IoT mqtt 企业号 3 月 PK 榜 有效载荷标识

共享订阅--MQTT 5.0新特性

EMQ映云科技

物联网 IoT mqtt 企业号 3 月 PK 榜 共享订阅

浅谈DWS函数出参方式

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 3 月 PK 榜

全能代码编辑器:CodeRunner 最新激活版

真大的脸盆

Mac 代码编辑器 Mac 软件 代码编辑 编辑代码

如何通过Java更改Word中的页面大小和页面方向

在下毛毛雨

Java word 页面布局

GuavaCache与物模型大对象引起的内存暴涨分析——设备管理运维类

阿里云AIoT

缓存 算法 监控 物联网 数据格式

Macbook技巧,Type-c接口失灵怎么办

互联网搬砖工作者

专场直播预约 | KaiwuDB 离散制造业场景解决方案

KaiwuDB

数据库 KaiwuDB 离线制造业 行业解决发展

基于声网 Flutter SDK 实现互动直播

声网

flutter

8年Java架构师面试官教你正确的面试姿势,10W字面试题搞定春招!

小小怪下士

Java 程序员 后端 java面试

什么是安全文件传输

镭速

保姆级教程!基于声网 Web SDK实现音视频通话及屏幕共享

声网

什么是智慧公厕?智慧公厕存在的意义!

光明源智慧厕所

智慧城市

PS 2023版本 24.2有哪些新功能?增加了哪些相机配置?

Rose

ps ps 2023 Photoshop 2023下载

【3.10-3.17】写作社区优秀技术博文一览

InfoQ写作社区官方

热门活动 优质创作周报

Matlab常用图像处理命令108例(八)

timerring

图像处理

未来智安入选FreeBuf《CCSIP 2022中国网络安全行业全景册(第五版)》

未来智安XDR SEC

“驯服”可控大模型,白海发布一站式大模型微调平台IDP LM_生成式 AI_InfoQ编辑部_InfoQ精选文章