【ArchSummit】如何通过AIOps推动可量化的业务价值增长和效率提升?>>> 了解详情
写点什么

实访用人单位:Prompt 工程师真是低门槛“香饽饽”?

  • 2023-06-16
    北京
  • 本文字数:5092 字

    阅读完需:约 17 分钟

实访用人单位:Prompt工程师真是低门槛“香饽饽”?

15-50k 的月薪,另外还有年终奖和其他福利,你所要做的,就是研究、分析、设计在用汉语或英语做输入的情况下,更准确地描述业务想要做的事情,听起来是不是很难以置信?


然而这就是真实出现在 BOSS 直聘上的招聘启事,其岗位名称叫做“Prompt 工程师”或“Prompt Engineer”,于 2023 年上半年在国内快速兴起,目前已有 30 家左右的公司在各大平台公开招聘该岗位。在国外,Prompt Engineer 的热度似乎更高,不仅岗位数量更多,而且年薪最高达到了七位数,在全球经济皆不景气的当下,显得独树一帜。


可是,由供需主导的人才市场,似乎不太可能出现“头脑发热”症状。在经过一系列研究调查,并与相关招聘单位、企业高管进行深度访谈后,我们发现,以为“Prompt 工程师”的入行门槛低,只是一种错觉。当前企业招聘的“Prompt 工程师”岗位,实际上不但对应聘者的要求很高,而且极度务实。换句话说,如果你真的成功转型成了一名全职 Prompt 工程师,那么 15k-50k 的月薪,不但不浮夸,而且恰如其分。

“魔幻”的背后是高门槛与极度务实


Prompt 工程师的主要工作,是通过带参或不带参的自然语言输入,对预训练大语言模型进行操作,并对输出结果进行调优。可以说,Prompt 工程师就是企业或组织,为了将大模型的能力带入生产环境,而特别创造的岗位职能。这一岗位的兴起,与大模型技术本身的成熟直接相关。


创客贴是国内头部的平面设计在线平台,目前正在招聘 Prompt 工程师,其岗位职责和技能要求如下:


职责:

1. 基于语言模型,设计、开发和完善各种应用程序的 AI 生成文本提示。

2. 监控和分析提示性能,确定改进的领域。

3. 负责用于训练垂直领域模型的数据收集方案。

4. 优化 AI 提示生成过程,参与提示词工具开发。

5. 协助内容和产品团队了解提示工程。


要求和技能:

1. 熟悉开源和闭源语言模型。

2. 熟练生成高质量提示词的工程技术。

3. 具备优秀的需求理解能力和拆解复杂任务的能力。

4. 具备一定的计算机知识,如编程语言,机器学习。

5. 具备中英文写作能力,有出色的口头和书面沟通能力。

6. 有良好的工作习惯,善于归纳和记录工作内容。

7. 能够有效与跨职能团队合作。


创客贴 CTO 李晋松这样描述招聘原因:“大模型能力的成熟,就像突然之间,我们手中拥有了一架强大的机器。但机器上的按钮很多,且没有说明书,需要一个同学来探索、归纳、总结其使用方法。”


当然,这里只是针对 Prompt 工程师的招聘需求而谈的,要对大模型的输出结果进行微调,方法并不只有 Prompt  一种,其完整的概括应该是:


  1. 全部微调:使用新的数据集对整个模型进行微调,包括预训练的部分和新加的任务特定层。这种方法通常需要大量的数据和计算资源,并且需要更长的训练时间,但能够获得最好的性能。

  2. 部分微调:只对特定的层或几个层进行微调,通常是模型的最后几层或添加的任务特定层。这种方法通常需要较少的数据和计算资源,训练时间也较短,但性能可能不如全局微调。

  3. 冻结部分层:将预训练模型的前几层(如 BERT 的前若干层)冻结,只对后面的层进行微调。这种方法可以减少微调的参数量和计算量,但可能会影响性能。

  4. 动态掩码微调:对于需要进行序列标注任务的预训练模型,可以使用动态掩码微调的方法,即只对标注序列的位置进行微调,对其他位置的参数进行冻结。这种方法可以减少微调的参数量,提高计算效率。

  5. 半监督微调:使用少量的标注数据和大量的无标注数据对模型进行微调,以提高性能。这种方法需要使用半监督学习的技术,如自监督学习或基于对抗学习的方法。

  6. Prompt 工程:更偏向应用与业务,通过修改输入给大模型的提示词,调优输出结果。


但前面五种,都需要一定的操作成本,且一般由算法工程师或所谓 AIGC 工程师来完成,最后一种是在解决大模型从生产到应用的“最后一公里”问题,目前是必备的,当下一般由算法工程师或其他技术角色兼任,或是企业招聘专人负责。


大众对 Prompt 工程师一职印象的分裂,也多半来源于此:从表面看来,Prompt 工程师是所有 IT 行业的工程师角色里,唯一写自然语言的工种,且所负责的事项,也无非是把一项任务表述得更清楚,似乎任何语言表达能力不错的人都可以做到。


事实真是如此吗?李晋松向 InfoQ 举了一个形象的例子:如果有人手动搭建了一个复杂的艺术模型,你能否通过提示词的猜测和微调,在 AIGC 工具里 100% 还原该作品?无疑相当困难。


这就是 Prompt 工程师入门的第一个难点:自然语言先天的模糊性。


自然语言为了承载文明,兼顾社会价值、历史价值、文化价值……其表意通常是模糊的、泛化的,“词义消岐”常年来就是 NLP 领域的一个固定科目。而已经习惯了自然语言表述逻辑的我们,要使用自然语言做精确的工程性描述,也比较困难。


第二个难点是任何一个场景都有大量的专用术语,普通人用白话很难精确代换。比如在平面设计行业,你至少需要知道伦布朗光、径向、层次等级、Ascender、Descender、互补色……才能较为精确的描述需求,修改 Prompt。这导致所谓的 Prompt 工程师至少应该成为某个领域的业务专家。


针对以上两个难点的考察,李晋松在采访中提到,目前招聘企业都非常务实,基本上需要面试者实机演示 Prompt 输入和输出结果,并对微调过程进行考察。


InfoQ 同时也采访了珠海太乙人工智能技术合伙人 & 项目总监、极客时间 21 天 AIGC 行动营讲师尹会生,他从另一个角度聊到这个问题:“IT 领域大部分岗位的入门难度是逐渐上升的。比如运维工程师,早期是研发工程师兼职转任,熟悉资源、环境就好了,慢慢地,运维工程师要开始会编程语言、脚本语言,比如 Shell、Python,门槛开始升高。到了今天,运维工程师的门槛已经相当高,需要了解容器、监控技术等。所以相对来说,现在的 Prompt 工程师入门门槛,可能是历史最低值,是入行的好时机。”


两个角度相结合,我们或许可以得出一个复合结论:Prompt 工程师并非一个“麻瓜”可以随便上手的工作,且未来可能越来越难。


尹会生同时谈到另外一个思考:当下的 Prompt 工程师最好来自于技术行业,是某一领域的技术人员。因为 Prompt 工程师很可能是 AI 技术专家身旁的“副驾”或合作者,与之协作的都是资深技术人员。如果 Prompt 工程师本身不懂技术,那么也就无法顺畅协作。


Prompt 工程师还应该与时俱进,根据 InfoQ 写作社区的一位算法工程师小伙伴汀的分享:Prompt 工程师目前也要关注和解决与大模型相关的风险和安全问题,因此需要了解对抗性 Prompt 的理念和方法,与此类似的新 Prompt 思想还包括 Active-Prompt、GraphPrompts、Multimodal CoT Prompting 等,其背后是大量的学术论文支撑。



图 Active-Prompt 示意图


此外,站在企业的角度,所有受访嘉宾一致同意,Prompt 工程师的一大价值,应该是能归纳总结 Prompt 的相关经验、实践、思路,把项目做成产品、平台和能力,赋能企业。而针对大部分企业的普通工程师而言,这算作是一项进阶能力,明显更为合理。


于是,当我们将以上所有要求汇总,得出的岗位画像是这样的:


Prompt 工程师最好是一个 AI 领域研发出身,有充足的 Prompt 实践经验和理论知识,十分了解公司业务和所在行业、能持续学习大模型相关前沿技术,并将其沉淀为团队能力乃至平台、产品的复合型人才。


根据极客邦科技双数研究院在 2021 年对数字化转型进程中的“业务架构师”的研究表明,既懂技术又懂业务并能将二者合二为一的人,往往是行业内最稀缺的人才。

岗位变迁:注定流行,但难说长青


这一岗位的发展前景,也是广大开发者所关注的问题——甚至比工作难度大、面试通过率低,更令人担心。


道理很简单,“Prompt 工程师”的发展存在一个悖论:


AI 的发展,本质上是以劳动力替代为目标的,也就是将越来越多的工作交给机器,以达成企业降本提效的诉求。而 Prompt 工程师本身是大模型技术在某一发展阶段的特定产物,因受交互方式限制,所以不得不专人专岗,理论上也是 AI 的替代目标之一。况且对于企业而言,先裁撤数名业务人员,再引入数名 Prompt 工程师,考虑到薪资水平的差异,人力成本未必会降低。


最近技术圈的新闻似乎也在印证这一点:6 月 13 日,阿里云机器学习 PAI 团队在 InfoQ 写作社区发文称,推出自研 Prompt 美化器 BeautifulPrompt,服务 Stable Diffusion。其原理是当用户输入了一个极其简单的 Prompt,该工具可以将其扩写成一个经过语言模型优化过的、细节描述详细的 Prompt,再吐给 Stable Diffusion。



BeautifulPrompt 整体架构


虽然工具效果还未受到行业内的广泛检验,但可以看出,围绕“Prompt 工程师”开展的优化动作早就已经开始了。随着类似工具的不断完善,行业专有大模型的不断推出,“Prompt 工程师”未来可能会变成一个纯粹的“蓝领”岗位。


当然这并不意味着这一岗位的寿命已经进入倒计时,“开始优化”和“优化成功”,到底还是两个概念。一旦技术的发展对市场产生了结构性影响,那么相关人力岗位的迭代往往是漫长的。


以“云计算工程师”为例,该职位伴随着云计算的崛起而出现,高光时期曾登上人社部新兴岗位名单。尽管云计算产业秉持着“云服务应该像自来水一样,让客户对基础设施完全无感”的理念,十数年间持续优化产品体验。可在今日的招聘平台,我们依然能见到“云计算工程师”的招聘启事。


另外一个例证来自“数据分析师”。让大数据的能力普惠各行各业,让只有数据科学家才能使用的产品退出舞台,多年来都是众多大数据从业者努力的方向。但经过了二十年的大数据基建和产品研发,“数据分析师”仍然是一个庞大的从业群体。


李晋松和尹会生两位专家都赞同“Prompt 工程师”会成为 AI 行业接下来一段时间的常见岗位,相关热度会越来越高。未来,会不会有新技术代替人类优化提示词,人类与 AI 大模型的交互方式会不会发生改变,还是个未知数。李晋松提到:“技术发展的每一个阶段,都有特定的岗位设计。早期人们甚至需要打字员,现在则不需要。AIGC 现阶段的主要交互方式就是 Prompt,企业应该大胆地开始招聘,不要因为未来某一天的变化而放弃当下的发展机遇。”


两位专家同时默契地指出,即便未来大模型不再需要人工调优 Prompt,也只是该岗位的消亡,并不代表对应的工程师会失业。李晋松作为实际的企业招聘者,对此已有规划和安排:“我们更倾向于选择一些在 AI 技术、产品维度有一定知识储备的同学,假设真的有一天,技术把 Prompt 工程师这一岗位取缔了,他还可以转型成为 AI 产品经理或 AI 研发工程师。”


尹会生则简洁地告诉 InfoQ:“我认为,真正取代碳基生物的,永远是另一个碳基生物。”

要不要转行做 Prompt 工程师?


关于“要不要转行做 Prompt 工程师”这一问题,尹会生的回答是:


“我举双手双脚赞成”,他说:“当下是入行最好的时间,后面的门槛会越来越高。而且未来被淘汰的人,一定是拒绝了解、学习使用 AI 这种先进工具的人。”


唯一要注意的是,当下行业还属于懵懂期,各家企业基本都对 Prompt 工程师的绩效设定、量化考核没有太明确、成型的想法。这就导致一旦企业增长放缓,高层考虑降低人力成本,说不清自身价值的 Prompt 工程师就可能会被优先裁撤。


所以积累 Prompt 实践经验,优先谋求内部转岗或兼任尝试,可能是更稳妥的选择。当然,如果对自身的能力有信心,和用人单位也充分对齐了期望、达成了共识,快人一步,全职转型 Prompt 工程师,也未尝不可。尚在迷雾中的新兴岗位“Prompt 工程师”,正在一步步走向台前。


本文受访嘉宾:

  1. 李晋松,创客贴 CTO,互联网创业者和资深技术专家,创业经历有老虎地图、拉勾网,曾任职搜狗、360 AI 研究院、核桃编程、作业帮、创客贴等历任资深技术专家、 技术总监、技术负责人、副总经理等职务。

  2. 尹会生,珠海太乙人工智能技术合伙人 & 项目总监,前游戏公司技术总监,前新浪网技术经理。已经在极客时间开设了两门视频课程《零基础学 Python》《Linux 实战技能 100 讲》,一门专栏课程《Python 自动化办公实战课》,一个行动营《21 天 AIGC 行动营》,累计学习人数达到 18 万余人。


文中关于 Prompt 工程未来技术趋势的参考:

Prompt工程师指南[高阶篇]:对抗性Prompting、主动prompt、ReAct、GraphPrompts、Multimodal CoT Prompting等_人工智能_汀丶人工智能_InfoQ写作社区


作者:汀,一名算法工程师,主要在自然语言处理,强化学习以及机器学习领域耕深推理。欢迎大家关注 id 汀丶人工智能一起 AI 学习。


AIGC 课程推荐


极客时间《AI 大模型应用开发 · 实战营》首发,作者是深耕 AI 领域多年的技术专家彭靖田。


课程 8 周全程直播授课,覆盖硬件选型、大模型理论、 LangChain 开发框架剖析和落地实践,全程紧贴实际生产环境。现在市面上流行实用的,比如 AutoGPT 数字员工、翻译助手、智能销售顾问等经典项目,课程中都会带你动手实践。


不容错过的历史机遇,帮助你掌握利用大模型开发相关的 AI 应用的能力!



公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2023-06-16 15:317784

评论 2 条评论

发布
用户头像
文章写得真的挺好
2023-10-18 15:30 · 安徽
回复
用户头像
点赞支持
2023-06-19 09:58 · 浙江
回复
没有更多了
发现更多内容

看从小自带BUFF的他,如何用代码降低万物互联的门槛

华为云开发者联盟

IoT 华为云 iotda 华为开发者大会2021 万物互联

《本人娶刘亦菲的可行性报告》原文

不脱发的程序猿

程序人生

linux高性能服务器编程--高性能服务器程序框架

赖猫

Linux 服务器开发 高性能服务器 C/C++后端

30亿参数,华为云发布全球最大预训练模型,开启工业化AI开发新模式

华为云开发者联盟

AI nlp 华为云 盘古 预训练模型

剖析MySQL黑盒——MySQL架构设计

学Java关注我

Java 编程 架构 程序人生 计算机

chia奇亚挖矿软件开发|chia奇亚挖矿APP系统开发

系统开发

xch挖矿APP开发|xch挖矿系统软件开发

系统开发

密码相似性

red

SpringCloud整合统一异常处理

悟空聊架构

spring SpringCloud Cloud 异常处理 passjava

JAVA 中 -> 是什么意思?

Sakura

4月日更

推荐一个还不错的YouTube视频下载软件

科技猫

软件 视频处理 资源分享 视频下载 youtube

为工地装上大脑,落实企业安全管理责任

百度大脑

百度大脑 工地

云原生开发者须具备的1+N技能,开启第二曲线

华为云开发者联盟

DevOps 云原生 HDC2021 华为云DevCloud 企业数字化

java单元测试代码自动生成

范晓刚

自动化 单元测试

腾讯云发布“创新成长快线”,首期向创业者赠送10亿分钟实时音视频时长

腾讯云音视频

音视频

刹车失灵,数据的刹车是否也会失灵?

BinTools图尔兹

数据库 运维 dba 数据库管理工具

分布式消息中间件(1):Rabbitmq入门到高可用实战!学会了这个还怕被B站面试官看不起?

北游学Java

Java 分布式 RabbitMQ 中间件

分布式消息中间件(2):Kafka系统学习—集群搭建与使用、副本机制和实时日志统计流程

北游学Java

Java kafka 分布式 中间件

多场景实时音视频通信激增背后,RTC 技术大爆发

融云 RongCloud

成功入职腾讯大厂 分享我的成功秘籍:10W字复习大纲手册

比伯

Java 架构 程序人生 编程语言 计算机

数据驱动的元数据组件

鲸品堂

方法论 架构设计原则 架构设计实战 数据分析方法论

合作伙伴眼中的鸿蒙,专访海雀科技研发总监李尹

Geek_283163

系统高可用之健康检查和健康度量那些事

vivo互联网技术

高可用 服务器

洞悉MySQL底层架构:一举拿下腾讯美团滴滴offer,持续更新中

欢喜学安卓

android 程序员 面试 移动开发

开发也可以如此简单!华为云发布两款开发工具

华为云开发者联盟

云原生 HDC2021 编码工具 SmartAssist

Android 关于CPU类型的so文件兼容问题(ABI)

寻找生命中的美好

android native so库 abi so文件

Substrate 合约书之合约语言框架

Patract

rust Substrate polkadot Patract Wasm

6大新品重磅发布,华为云全栈云原生技术能力持续创新升级

华为云开发者联盟

华为云 CloudIDE GaussDB(for openGauss) 沃土云创计划 可信智能计算服务TICS

为什么每个程序员都应该了解“康威定律”

soolaugust

编程 架构 设计

技术干货 | 如何在 Library 中使用/依赖 mPaaS?

蚂蚁集团移动开发平台 mPaaS

Android Studio 移动开发 mPaaS

百度集团资深副总裁李震宇:Apollo开放平台打造全球最强自动驾驶量产引擎 助力车企造好车

百度大脑

自动驾驶 Apollo

实访用人单位:Prompt工程师真是低门槛“香饽饽”?_生成式 AI_王一鹏_InfoQ精选文章