写点什么

Amazon Bedrock 全家桶升级,推出新的定制和管理工具

  • 2023-11-29
    北京
  • 本文字数:1781 字

    阅读完需:约 6 分钟

Amazon Bedrock全家桶升级,推出新的定制和管理工具

亚马逊云科技日前发布全新工具,能够轻松定制其公有云端的大语言模型,并将成果整合至应用程序当中。


这些工具在亚马逊于拉斯维加斯召开的 re: Invent 2023 大会上首度亮相。会议期间,这家云巨头还发布了新的云实例,可供企业客户训练并运行 AI 模型。与此同时,名为 Amazon Q 的新型 AI 助手也横空出世,可帮助用户快速编写代码并总结冗长的文档资料。

定制化 AI

亚马逊公布一项名为 Amazon Bedrock 的服务,可对一组托管基础模型进行访问。其中既包括亚马逊内部开发的 Amazon Titan 系列大语言模型(LLM),也提供来自其他厂商及开源生态系统的神经网络选项。亚马逊此次还公布两项新功能:微调与持续预训练,允许客户针对特定任务对 Bedrock 中的大模型进行定制。


定制神经网络就是使用知识库中未包含的新数据进行模型训练。例如,电子商务企业可以利用产品文档进行模型训练,使其学会回答客户提出的产品相关问题。这种定制过程能够显著提高大模型的回答准确率。

亚马逊此次推出的首个定制化功能为 fine-tuning 微调,允许开发人员在标记数据集上训练受支持的 Bedrock 模型。此类数据集包含样本输入、常见提示词以及针对这些提示词预先编写的 AI 答案。这些记录以问答形式组织而成,可供 AI 模型通过示例快速进行学习。


亚马逊推出的另一项定制功能为 continued pretraining 持续预训练,面向的则是另外一组用例。它允许企业在规模极大的数据集上对 Bedrock 大模型进行定制,例如涉及数十亿 token 的代码库。所谓 token,就是对应几个字符或数字的数据单元。这项新功能还可使用新信息对训练数据集做定期刷新。


亚马逊允许客户在未经标注的数据集上进行持续预训练。此类数据集包含样本输入,但往往并不具备 AI 模型所需要的输出示例。现在用户无需创建输出示例,因此能够大大减少创建训练数据集的工作量,从而降低 AI 定制成本。


亚马逊生成式 AI 首席开发者布道师 Antje Barth 在博文中表示,“用户可以指定最多 10 万条训练数据记录,且一般在至少提交 10 亿条 token 后即可看到显著的定制效果。”


发布之后,Amazon Titan Text 大模型将以公共预览的形式迎来持续预训练轻盈。而微调功能不仅适用于 Titan 模型,还将对接开源 Llama 2 和 Cohere Command Light 模型。

基于云的 AI Agent


AI 应用往往需要执行涉及多个步骤的任务。例如,客服聊天机器人可能需要接收产品查询、为每条查询生成摘要,再将摘要转发给相关业务部门。亚马逊为此发布了 Agents for Amazon Bedrock 工具,能够简化这类多步骤任务的 AI 应用开发过程。


该工具于今年 7 月首度亮相,当时为 Bedrock 中的预览功能。而在本次 re: Invent 大会上,亚马逊将 Agents for Amazon Bedrock 全面开放,并添加了多项增强功能。


在 AI 开发领域,agent 智能体代表一款程序,能够将多步骤任务作为输入、将各个步骤拆分成独立操作,再将每项操作分配给 AI 模型。Agent 能够生成提示词,引导底层 AI 模型分步执行任务。Agent 本身由机器学习技术所支持,开发人员则通过自然语言来设置其需要执行哪些操作、各项操作的具体执行方式等。


Agents for Amazon Bedrock 简化了 AI agent 的创建过程。据亚马逊介绍,此次推出的新版工具允许开发者监控 agent 如何完成多步骤任务执行中的各个阶段。在必要时,开发人员还可以修改各子步骤的执行方式以提高输出质量。


如果还需要进一步定制,软件团队可以更新 agent 的所谓编排模板。编排模板是一种 AI 揭示词,用于通知 agent 需要执行哪些任务、具体如何执行。根据亚马逊的说法,开发人员现在可以自定义任务解释及其他细节,例如 AI 输出的呈现方式。


Barth 解释道,“只有在专注于特定任务时,agent 才能发挥最佳表现。目标和说明越清晰,可用的操作集(API)越集中,推理和确定正确步骤的效果也就越好。”

AI 护栏

在使用 Bedrock 大模型、各模型的定制版本以及 AI agent 时,开发人员现在还能配合 Guardrails for Amazon Bedrock 这项新的预览功能,防止 AI 应用程序摄取敏感数据或生成有害输出。


此项功能允许开发者为 AI 应用定义需要回避的一组主题,例如银行可以通过配置要求其客服聊天机器人不得提供投资建议。该功能提供拖放界面,可轻松调整相应过滤强度。


Amazon Bedrock Guardrails 的另一项作用是保护敏感数据,例如个人身份信息(PII)。据亚马逊介绍,此功能允许 AI 应用阻止用户输入包含个人身份的提示词,并可编辑掉 AI 生成输出中的敏感内容。


原文链接:

https://siliconangle.com/2023/11/28/aws-rolls-new-ai-customization-management-tools/

2023-11-29 17:433659

评论

发布
暂无评论
发现更多内容

根据Nginx Ingress指标对指定后端进行HPA

华为云开发者联盟

nginx 开发 华为云 华为云开发者联盟 企业号2024年4月PK榜

Monibuca v5 实现零拷贝 BufReader

不卡科技

Go 性能优化 流媒体

润和软件成功举办2023-2024年openEuler技术委员会会议

科技热闻

Giants Planet 宣布推出符文,建立在坚实价值的基础上

加密眼界

双线高防服务器的选择与配置:保障在线业务的安全与稳定

一只扑棱蛾子

高防服务器

捷途山海T2:通勤低成本,日常出行更经济

极客天地

借助淘宝评论API,商家轻松掌握市场动态与商机

技术冰糖葫芦

API 接口 API 文档 pinduoduo API

下载量超 200 万,最近频繁登上热搜的 AI 程序员,大家怎么看

阿里巴巴云原生

阿里云 云原生 通义灵码

短视频评论提取工具软件介绍|评论采集下载爬取

Geek_16d138

EasyMR6.2 全面解读:四大功能深度优化,解锁全新大数据处理和计算体验

袋鼠云数栈

hadoop 数据处理 计算引擎 数据计算 国产化替代

轻松复现一张AI图片

程序那些事

人工智能 程序那些事 4月月更 openai

短视频评论抓取拓客软件|评论采集爬取下载工具

Geek_16d138

爬虫工具 爬虫技术 好用的软件分享

SD-WAN在国际教育机构中的应用

Ogcloud

SD-WAN 网络sdn 企业组网 SD-WAN组网 SD-WAN服务商

DBAIOps生态概述

DBAIops社区

数据库 运维

手把手教你实现 OceanBase 数据到 Apache Doris 的便捷迁移|实用指南

SelectDB

数据库 大数据 数据分析 数据同步 数据迁移

通义灵码牵手阿里云函数计算 FC ,打造智能编码新体验

阿里云云效

阿里云 云原生 通义灵码

阿里巴巴1688商品API实战:批量抓取价格、标题、图片及库存数据

技术冰糖葫芦

api 货币化 API 接口 pinduoduo API

漫画项目管理 | 项目目标不合理,该如何修订?

禅道项目管理

项目管理 职场 pmp 能力提升 项目管理PMP

Serverless 成本再优化:Knative 支持抢占式实例

阿里巴巴云原生

阿里云 Serverless 云原生

文心大模型“你说我画”:PaddleHub与PaddleSpeech的协同实践

百度开发者中心

人工智能 NLP 大模型 大模型

PIRF-395

Echo!!!

English

拥抱AI技术:6月22-23日全球金牌CSM认证课程 · Jim老师引导讨论AI & Agility话题

ShineScrum

ScrumMaster 敏捷认证 Scrum官方认证

SD-WAN为什么在亚太地区普及?

Ogcloud

SD-WAN 企业网络 SD-WAN组网 SD-WAN服务商 SDWAN

利用飞桨与文心大模型重塑大宗商品数字供应链

百度开发者中心

深度学习 大模型

​下载量超 200 万,最近频繁登上热搜的 AI 程序员,大家怎么看

阿里云云效

阿里云 AI 云原生

DBAIOps关键SQL监控功能

DBAIops社区

数据库 运维 监控

国密数据加密在堡垒机上的应用有哪些?

行云管家

信息安全 数据加密 堡垒机 国密

通义灵码牵手阿里云函数计算 FC ,打造智能编码新体验

阿里巴巴云原生

阿里云 云原生 函数计算 通义灵码

短视频评论ID提取采集软件|评论批量爬取下载工具

Geek_16d138

短视频创业 评论系统 好用的软件分享

Amazon Bedrock全家桶升级,推出新的定制和管理工具_生成式 AI_Maria Deutscher_InfoQ精选文章