QCon 广州站盛大开幕，AIGC 浪潮势不可挡，探索大模型的挑战与机遇

QCon 全球软件开发大会是由极客邦科技旗下 InfoQ 中国主办的综合性技术盛会，每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。自 2007 年 3 月份开始举办以来，已经有超万名有多年从业经验的技术人员参加过 QCon 大会。QCon 内容源于实践并面向社区，演讲嘉宾依据热点话题，面向 5 年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。

今天，由极客邦科技旗下 InfoQ 中国主办的QCon全球软件开发大会（广州站）顺利开幕。作为这场综合性技术盛会的一部分，我们非常荣幸地邀请到了众多优秀的演讲嘉宾，他们将带来丰富多彩的主题演讲和分享。

大会在 09:00-09:10 开场，由极客邦科技副总裁兼 TGO 鲲鹏会总经理杨攀致辞。杨攀以"AGI 与 AIGC 浪潮下的我们"为主题，为我们拉开了 QCon 广州的开幕式。杨攀提到，“人间一日，AGI 一年”，人类科技的转折点已到来，我们技术岗位的每一位同行者，都应该思考如何利用 AGI 提升效率。他坦言，技术人应该了解理论基础、前沿技术、开发实战以及产业落地方面，以更好地跟上时代的发展。

紧接着，09:10-09:15 期间，极客邦科技的会议主编邓艳琴（Clara）介绍了"QCon 内容策划思路与参会指南"，为与会者提供全面的指导。她谈到，曾经还有参会者质疑大模型是否会改变开发范式，但现在这一点已成为现实。在此次会议的专题设置上，AIGC 占了整个分享不小的篇幅。InfoQ 组委会也设置了大模型特色晚场以及大模型体验区，供参会者互动交流，期待大家满载而归。

接下来，在 09:15-09:45 的时间段，商汤集团的联合创始人兼大装置事业群总裁杨帆分享了"大模型浪潮下，商汤的布局与思考"，探讨商汤在这个潮流中的发展和思考。杨帆从大模型的核心技术变化入手，分享了商汤日日新大模型的实践探索。

杨帆提到大模型的参数量一直在变多，Transformer 的出现使得模型变大的成本大大降低，相对于聊天机器人来说，AI for science 是他认为对人类改变最大的地方。大模型时代走到最后一定是巨头的游戏，更多人的发展空间是在其上层的产业应用。AIGC 浪潮已不可逆转，在这个时刻，非常有可能产生重大的机会。

大模型的生产链条包括基模型预训练、精调以及大模型推理服务。他认为，AI 看起来改变了世界，核心的原理是暴力美学——量变引起质变，算力、算法、以及数据的最佳实践，但是背后有一点是存在很多待优化的事情。例如，算力方面，GPU 卡连接过多时，其训练任务稳定性，随着国模快速递减；模型结构方面，需要更优秀的模型结构，精度/效率的权衡和更先进的微调方案设计；最后，数据来源、质量以及多样性覆盖度的挑战。这里存在着许多创业以及工作的机会。

随后，在 09:45-10:30 的时间段，京东集团的副总裁包勇军先生介绍了"京东数智化关键技术及应用实践"，包勇军提到后疫情时代零售产业面临的挑战有扩内需促消费、多元化消费场景、跨境电商 DTC 兴起、新兴消费品牌崛起。

京东围绕成本、效率、体验三个方向，构建了大模型、多模态、端智能、隐私计算、运筹优化等数智化创新技术体系，通过技术的创新应用，驱动营销、交易、供应链能力升级。京东自研支持万亿级参数超大模型，可支持在线模型异构计算，毫秒级推理以及离在线一体分钟级在线学习；多模态预训练技术支持全品类、全信息源商品内容理解；端智能技术支持电商模型高时效性应用；隐私计算技术在数据安全与合规的基础上，支持业务模式创新；运筹优化技术支持零售供应链高效流转保障。

在京东数智化应用实践方面。营销数智化提升营销效能，升级购物体验；全渠道交易数智化打开零售发展天花板，支撑多业务场景；供应链数智化持续优化供应链成本、效率与体验。

紧接着，10:30-11:00 的时间段，人瑞人才科技集团的 CEO 张建国先生将探讨"数字技术人才的井型模型"，分享数字时代人才培养和发展的关键模型。张先生提到《财富》500 强中超过半数的公司应用胜任力模型。在一项基于全球 426 家著名公司的调查中，有 80%的公司在人力资源管理实践中应用胜任力模型。他逐一介绍了 T 型人才、π型人才、以及数字化时代的“井”型人才。张总分享到，数字技术人才能力建设必须符合企业数字化的组织能力需求，技术专业能力只是重要的一部分，但更多体现在创新能力、问题解决能力、团队协作等能力结构的变化。

而 11:00-11:30 这个时间段，小红书的技术副总裁凯奇带来了"AI 时代的降本增效"的演讲，探讨人工智能时代如何实现降低成本、提高效率。凯奇认为 AI 对降本增效有巨大帮助。“AI 技术可以更好的帮我们做成本优化，因为 AI 技术本质上是一个非常高效的优化器（在给定优化目标之后）；AI 技术可以更好的帮我们做成本洞察，对成本和效能相关数据做预测和异常发现。”

凯奇谈到，小红书在数据、训练、推理、以及向量检索方面做了许多优化动作。具体来说包括

• 使用列存格式 (Parquet) 和数据湖技术存储和管理训练数据；

• 引入异步流水线将计算和通讯尽量互相覆盖，引入大 batch 及半精度通信提升通讯效率，针对异步可能存在的效果影响做了一定的算法修正；

• 将 worker 分拆为 CPU worker 和 GPU worker 分别负责不同计算和通讯任务，通过动态路由进行灵活配比，两者利用率同时得到大幅提升，同等成本下训练速度提升 20%

• 对模型进行结构化重构，将多次的 CPU-GPU 传输，变为单次 memcopy 的同质化实现

• 通过特征抽取 C++ 化、广播优化、大 batch 合并进一步提升了非图内计算的效率

• 针对小红书实际场景中 QPS 高但单 QPS 计算量小的特点，基于多流和多批处理设计并开发了一套向量检索异构 GPU 并行框架和高效的距离计算及 GPU TopK 排序内核，同等吞吐约束下，成本相较 CPU 架构 优化 35%

另外，小红书在 AI for 降本增效实践方面，主要体现在成本动因预估、智能算力分配、 视频带宽优化、 智能视频缓存、Github Copilot、Data Copilot 等。

最后，在 11:30-12:00 的时间段，麦当劳中国的数字化副总裁汤海涛介绍了"麦当劳中国的数字化变革"，汤总从互联网对企业数字化的影响入手，分享了从 C 端切入，讲述了在产研上麦当劳的实践。汤总分享了许多麦当劳在统一的交互设计、瀑布和敏捷的探索结合、自研 DevOps 平台 Ninja、公有云和私有云的配合以及系统之间的 API 生态等方面的内容，为正在转型的企业提供了新的视角。

到这里，上午的所有分享就结束了。通过 QCon 大会，听众可以与顶尖的技术专家和领导者互动交流，了解最新的技术趋势和最佳实践。同时，大会也提供了一个共享经验和知识的平台，促进了技术社区的发展和合作。

当然，一场大会的顺利举办，离不开所有共创伙伴的大力支持，在此，对大家表示最诚挚的感谢。

让我们一起期待 QCon 全球软件开发大会为我们带来的精彩内容和难忘经历！

谢谢大家！

活动推荐

2023 年 9 月 3 - 5 日，在北京·富力万丽酒店， QCon 全球软件开发大会（北京站）已开启，现已开启售票，提前订票，可享受 7 折早鸟价，购票参会可以直接电话 / 微信联系票务经理 18514549229。