多模态大模型助力金融反欺诈升级｜AICon 北京

6 月 27 日-6 月 28 日，AICon 全球人工智能开发与应用大会北京站即将拉开帷幕。本次大会将汇聚 AI 前沿技术与落地实践，邀请来自腾讯、阿里、百度、字节跳动等头部大厂以及智谱、硅基流动、智象未来、声智科技等 AI 企业的 50+资深专家，深度探讨 AI Agent、多模态应用、推理性能优化以及 AI 在软件研发、数据分析、业务运营等场景的具体落地实践。

新希望金科 AI 中心总经理王小东已确认出席并发表题为《多模态大模型助力金融反欺诈升级》的主题分享。随着 AI 和消费金融行业的快速发展，个人和团伙欺诈行为日益猖獗，欺诈攻击呈现多样化、专业化、智能化、套路化、线上化。传统反欺诈甄别手段相对乏力，部分传统反欺诈一直存在的问题也未有好的解决方案，很多新型欺诈也无法拦截，给金融机构和消费者带来了巨大的风险挑战。大模型可以很好地对图像、视频、语音、文本、文档等非结构化数据进行分析理解，挖掘非结构化数据中蕴藏的高维信息和有效特征，将这些信息合理使用可有效提高风控能力和反欺诈能力，解决现有欺诈识别难，反欺诈模型开发特征受限，复杂欺诈排查靠人工效率低等问题。

本次演讲将介绍新希望金融科技 AI 团队基于多模态大模型解决金融反欺诈中的难点问题和实战解决方案，介绍多模态关系图谱、多模态内容理解、多模态内容搜索、多模态数字人等 AI 产品结合多模态大模型更好的赋能金融反欺诈，用前沿技术解决金融反欺诈中的难点和痛点问题以及新型欺诈防范问题，了解在 600 多家银行应用的实战情况。希望为金融反欺诈提供新的解决方案，为大模型在金融反欺诈中的落地提供思路和经验借鉴。

王小东曾就职于华为 2012 实验室和蚂蚁金服人工智能部，从事大数据和 AI 技术相关研究 11 年左右。现就职于新希望金融科技，担任 AI 中心总经理，负责研发基于 AI 和大模型的创新型产品、新技术探索与突破以及风控算法研发，研发成果多次在未来银行大会进行发布。

在技术创新和行业实践方面积累了丰富经验，并在人工智能、金融科技等领域取得了一系列重要成果。以第一作者申请发明专利 30 多项，发表论文近 10 篇，同时主持多项四川省科技厅重点项目和 AI 项目，并获得多项科技成果奖。同时，积极参与技术传播与分享，获评 QCon 全球软件技术大会优秀讲师、FCon 全球金融科技大会优秀讲师。他在本次会议的详细演讲内容如下：

演讲提纲

1. 消费金融场景下的欺诈攻击与技术现状

• 现有反欺诈痛点分析

• 多模态大模型技术优势解析

• 多模态大模型如何助力金融反欺诈

2. 多模态关系图谱在反欺诈中的技术方案和应用实践

• 传统关系图谱解决反欺诈的局限性

• 多模态关系图谱解决反欺诈问题的必要性

• 多模态关系图谱核心技术

• 多模态关系图谱核心算法

• 多模态关系图谱在金融反欺诈中的应用案例

3. 多模态内容理解在反欺诈中的技术方案和应用实践

• 图像/视频内容理解技术方案

• 语音内容理解技术方案

• 多模态内容理解在反欺诈中的应用和实践案例

4. 多模态搜索在反欺诈中的技术方案和应用实践

• 图像/视频向量化技术方案

• 语音向量化技术方案

• 文本向量化技术方案

• 图像/视频/语音基于语义搜索技术方案

• 以图搜图/以语音搜语音技术方案

• 多模态内容搜索在反欺诈中的应用和实践案例

5. 多模态数字人在反欺诈中的技术方案和应用实践

• 多模态反欺诈数字人技术方案

• 多模态反欺诈数字人算法方案

• 多模态数字人在反欺诈中的应用和实践案例

6. 总结和展望

• 总结

• 下一步研究计划

技术实践痛点

• 大模型的不稳定性问题：同样的提示词，模型在不同时刻对图像、视频、文本、语音理解的内容不同，导致反欺诈规则和策略会失效，需要结合大小模型、传统 AI 模型一起解决，传统 AI 模型解决大部分问题，传统 AI 解决不了的再利用大模型，同时使用规则和 RAG 一起减少模型输出不稳定问题。

• 多模态大小模型处理时效问题：多模态关系图谱、多模态内容理解、多模态 AI 搜索以及多模态数字人都需要实时对多种模态数据进行实时模型计算、实时反欺诈决策、实时策略应用。多模态大模型存在处理时效较长的问题，多模态小模型存在模型多并发量大计算查找慢的问题，大小模型动态运行存在调用量大和占用资源大等问题。

• 多模态关系图谱构建和实时查询问题：图像背景、声纹、视频、人像、经营场所等相似如何关联，海量文本内容如何准确提取实体关系，多模态关系网络如何快速精准构建，超级结点如何实现快速查询响应，多模态关联图谱如何动态更新等都是生产真实使用过程中需要解决的问题。

• 成本与效果的平衡：多模态大模型在反欺诈中有一定效果，能解决传统反欺诈解决不好的问题，但是多模态大模型调用成本高，如果使用较小的模型，又可能无法满足复杂场景的需求。我们必须在每个环节仔细评估是否值得使用大模型，必要时使用规则和传统 AI 替代，以平衡成本和效果。

听众收益

• 了解多模态大模型在金融反欺诈中的真实落地案例和实战经验，了解当前消费金融领域欺诈行为的最新趋势和特点以及最新的防御技术方案。

• 了解多模态大模型助力智能反欺诈的技术方案和实现路径，了解如何基于多模态关系图谱、多模态内容理解、多模态内容搜索、多模态数字人等 AI 产品结合多模态大模型更好的赋能金融反欺诈，用前沿技术解决金融反欺诈中的难点和痛点问题以及新型欺诈问题。

• 了解多模态大模型在智能反欺诈中的落地方向和未来研究方向。

• 了解前沿反欺诈技术，包括但不限于 CV、NLP、视觉大模型、多模态大模型、多模态关系图谱、多模态内容理解和搜索等 AI 技术在反欺诈领域的应用。

除此之外，本次大会还策划了AI Agent 构建与多场景实践、多模态实践与应用、大模型助力研发的实战经验、AI 在业务运营中的深度落地、大模型时代的数据处理与分析、AI 变革下的工程师等 10 多个专题论坛，届时将有来自不同行业、不同领域、不同企业的 50+资深专家在 AICon 北京站现场带来前沿技术洞察和一线实践经验。

目前，所有大会演讲嘉宾已结集完毕，了解更多报名和详情可扫码或联系票务经理 13269078023 咨询。