写点什么

小模型时代来了?微软推出其最小参数 AI 模型,性能逼近 GPT-3.5

  • 2024-04-23
    北京
  • 本文字数:964 字

    阅读完需:约 3 分钟

大小:152.66K时长:00:52
小模型时代来了?微软推出其最小参数AI模型,性能逼近GPT-3.5

当地时间 4 月 23 日,微软宣布推出其轻量级人工智能模型 Phi-3 Mini 的下一版本,这是该公司计划发布的三个小型模型中的第一个。 


Phi-3 Mini 可测量参数仅为 38 亿,并在相对于 GPT-4 等大型语言模型更小的数据集上进行训练。现已在 Azure、Hugging Face 和 Ollama 上可使用。另外,微软还计划发布 Phi-3 Small(7B 参数)和 Phi-3 Medium(14B 参数)两个版本。


微软在去年 12 月时发布了 Phi-2,其性能与 Llama 2 等更大的型号不相上下。微软表示,Phi-3 的性能比前一版本更好,其响应速度接近比它大 10 倍的模型


微软 Azure 人工智能平台公司副总裁埃里克· 博伊德(Eric Boyd)介绍说,Phi-3 Mini 的性能与 GPT-3.5 等 LLM 不相上下,"只是外形尺寸更小而已"。


与大型人工智能模型相比,小型人工智能模型通常运行成本更低,并且在手机和笔记本电脑等个人设备上表现更好。据外媒《The Information》今年早些时候报道称,微软正在组建一个专门专注于轻量级人工智能模型的团队。与 Phi 一起,该公司还构建了 Orca-Math,一个专注于解决数学问题的模型。


微软的竞争对手也在研发自己的小模型,其中大多数针对更简单的任务,例如文档摘要或编码辅助。其中最典型的就是 Google 的 Gemma 2B 和 7B,这两款模型更适合简单的聊天机器人和语言相关的工作。


此外,Anthropic 的 Claude 3 Haiku 可以阅读带有图表的密集研究论文并快速总结它们,而 Meta 最近发布的 Llama 3 8B 可以用于一些聊天机器人和编码辅助。


Boyd 表示,开发人员通过“课程”对 Phi-3 进行了训练。他们的灵感来自于孩子们如何从睡前故事、单词更简单的书籍以及谈论更大主题的句子结构中学习。


“市面上没有足够的儿童读物,因此我们列出了 3000 多个单词的清单,并要求大语言模型制作‘儿童读物’来教授 Phi,”Boyd 说。 


他补充说,Phi-3 只是建立在之前迭代所学到的知识之上。 Phi-1 专注于编程,Phi-2 开始学习推理,而 Phi-3 更擅长编程和推理。虽然 Phi-3 系列模型能够了解一些常识,但它无法在更大范围的应用场景中击败 GPT-4 或其他大语言模型。


Boyd 表示,公司经常发现像 Phi-3 这样的较小模型更适合他们的定制应用程序,因为对于许多公司来说,他们的内部数据集规模都比较小,而这些使用较少算力的小模型更具性价比。


参考链接:


https://www.theverge.com/2024/4/23/24137534/microsoft-phi-3-launch-small-ai-language-model


2024-04-23 18:205721
用户头像
李冬梅 加V:busulishang4668

发布了 1041 篇内容, 共 655.2 次阅读, 收获喜欢 1204 次。

关注

评论

发布
暂无评论
发现更多内容

实践指南,终于有大佬把Python和机器学习讲明白了!

我再BUG界嘎嘎乱杀

Python 人工智能 机器学习 开发语言

提升办公效率!2024年5大主流AIPPT软件一网打尽!

彭宏豪95

人工智能 职场 在线白板 AIGC AI生成PPT

2024 MWC上海,“翼”彩纷呈!

天翼云开发者社区

人工智能 云计算 世界移动通信大会

雨҈ 雨҈ 雨҈ 雨҈ 雨҈ 雨҈

天翼云开发者社区

人工智能 云计算 论坛

GitHub星标破千!斯坦福大学的284个机器学习小抄(漫画中文版)

我再BUG界嘎嘎乱杀

Python 人工智能 机器学习 AI 开发语言

以 Go 语言为例解释什么是伪共享以及如何解决

江湖十年

Go 后端 go tool

天润融通分析AI技术助力客户服务,实现满意度三倍增长

天润融通

人工智能

从开源小白到新晋 committer:主动尝试,心无旁骛,收获满满!

Apache IoTDB

“东数西算”长三角(苏州)算力调度中心正式启用!

天翼云开发者社区

人工智能 云计算 算力 调度中心

TiDB 资源管控的对撞测试以及最佳实践架构

PingCAP

最佳实践 #TiDB TiDB Operator 资源管控 组织架构最佳实践

吃个瓜而已,AI居然写了份研究报告??

Openlab_cosmoplat

人工智能 ChatGPT

我的上班搭子之有小浣熊的一天-日常统计分析工作应用

老壳有点爽

人工智能 AI 商汤 办公小浣熊 商汤科技

超级实用 Python GUI 入门

我再BUG界嘎嘎乱杀

Python 开发语言 GUI

Nginx 开启 gzip 压缩,让网站飞一会!

左诗右码

nginx

低代码开发技术助力企业数字化管理的实践探究

不在线第一只蜗牛

管理 低代码 数字化

多模态合规分析平台,保障AIGC营销新时代对客服务高质合规

中关村科金

LeetCode题解:205. 同构字符串,哈希表,JavaScript,详细注释

Lee Chen

亮相2024世界人工智能大会,扫描全能王AIGC“黑科技”助力敦煌遗书数字化修复

合合技术团队

人工智能 OCR 合合信息 古籍修复

智汇宁夏,共创未来!天翼云携手宁夏共建“中国算力之都”!

天翼云开发者社区

云计算 开发者大会 生态大会

小模型时代来了?微软推出其最小参数AI模型,性能逼近GPT-3.5_生成式 AI_李冬梅_InfoQ精选文章