最新发布《数智时代的AI人才粮仓模型解读白皮书(2024版)》,立即领取! 了解详情
写点什么

白海科技卢亿雷:把简单留给用户 把复杂留给自己 | TGO 专访

TGO鲲鹏会

  • 2022-06-30
  • 本文字数:4417 字

    阅读完需:约 14 分钟

白海科技卢亿雷:把简单留给用户 把复杂留给自己 | TGO 专访

卢亿雷,白海科技创始人兼 CEO,TGO 鲲鹏会(北京)董事会成员。曾先后任职于联想研究院、百度和明略科技,负责联想网盘的分布式存储和高性能计算、Hadoop 分布式计算,以及 AI 算法平台和数据分析平台等工作。卢亿雷是 CCF 大数据专委常务委员和高性能专委委员,中国大数据技术大会主席,2017 年中国大数据行业领军人物,超过 15 年大数据和 AI 计算平台经验。


就像农作物是人类赖以生存的基础一样,AI 正成为人类经济发展迈向更高台阶的核心驱动力。育种专家通过科研攻关,把口感好、品质高、价格低的产品送上普通人的餐桌;现在,一批 AI 行业领军者正在从实际应用需求和痛点出发,推出使用简单、成本低廉、性能强劲的 AI 开发生产平台,助力产业转型升级。

卢亿雷,就是这批 AI 领军者中的一员。他始终坚信,AI 技术唯有下沉到各行各业,普惠生活的方方面面,才能发挥它真正的价值。


对于行业趋势卢亿雷表示,AI 开发生产平台今后将呈现简单化、云原生和一站式三大趋势。其中,简单化尤为重要。经历了由简单到复杂集成式工具的演变后,简单、再简单和高度易用将是 AI 开发生产工具的未来发展方向。


“To C 产品通常简单到不需要复杂的用户手册,企业级 AI 开发生产平台也可以做的像 To C 产品一样简单,推动 AI 的普惠化。”卢亿雷说到。


让 AI 下沉产业端,开发效率成破局核心


近年来,在互联网、传统企业深度拥抱数字化、云原生等新兴技术的趋势下, AI 已成为不可或缺的底层支撑。由此带来的是算法进入到“工业化大生产“阶段,模型愈加复杂和庞大,而算法工程师普遍缺乏高易用性用具,难以提升开发效率;此外,机器学习算法使用的计算能力已远超摩尔定律,高性能、低成本算力亦成为制约 AI 发展的重要瓶颈。不少企业为解决这一难题,投身于 AI 开发生产平台的构建之中,但理想与现实尚存不小的差距。


卢亿雷表示,自己和团队在 2015 年便开始尝试用开源工具构建 AI 开发生产平台,但开源工具改造的平台在易用性和性能上差强人意;目前市场上的解决方案主要分为集成式机器学习平台和 AI 开发生产基础软件,两者各有特色,但均不能同时满足企业和专业开发者在性能和易用性方面的需求。


比如由云厂商、垂直一体化平台厂商打造的集成式机器学习平台,其核心特点是数据准备、模型开发、模型训练、模型部署等各功能子产品都集成于同一平台,导致产品较为厚重、配置复杂、上手困难;


而 AI 开发生产基础软件,其核心特点是数据准备功能包 / 插件、算法调试功能包 / 插件、模型部署功能包 / 插件等可以按需自动配置。不过,各组件的适配表现欠佳且门槛较高,需算法开发人员对系统工程有较深了解。不仅如此,AI 开发生产基础软件通常缺乏引擎支撑,较难满足企业级客户对性能和效率的要求。


据卢亿雷介绍,用传统的 AI 开发工具,数据科学家需要把数据下载到本地,这过程就很复杂,且还涉及到数据版本管理的问题;算法工程师需要部署、搭建实验环境,但大多数算法工程师对系统工程领域涉猎有限,环境部署和管理对他们来说具有不小的挑战性;在算法开发过程中,算法工程师还需要很多库包,但第三方库包和开发工具又可能会有兼容性的问题;在训练过程中,由本地单机代码进行分布式训练,面临代码调整和训练性能、效率的挑战;不仅如此,传统的 AI 开发工具的试验环境和生产环境也是割裂的......


一系列降低开发效率、阻碍计算性能的难题,成为 AI 有效下沉产业的阻碍。卢亿雷称,“要解决专业算法工程师日常开发、生产的核心痛点,让他们更专注于算法开发和模型试验本身,以提升开发效率和性能,突破 AI 普惠的瓶颈。”


以应用需求和痛点出发,构建 AI 开发生产解决方案


过去一位数据科学家的工作流程是这样的,首先需要安装一些工具并配置开发环境,在进行完数据探索后,选择算法模型,并对模型进行开发和训练,筛选出最优模型后将模型文件交给工程师团队,工程师用 C++/JAVA 对模型进行工程化处理,但这个过程会涉及很多复杂的问题,比如精度等。另外,上线后随着时间的推移,模型可能也会存在表现得不理想的情况......


卢亿雷表示,传统的 AI 开发工具在数据、环境管理、模型选择、分布式训练、数据精准度等方面存在诸多痛点;他和他的团队以数据科学家、算法工程师的需求和痛点出发,通过自研的云原生 AI 开发生产平台——IDP(Intelligent Development Platform),构建 AI 开发生产解决方案。


IDP 产品架构图


据卢亿雷介绍,白海科技 IDP 有 IDP Studio 和 IDP Engine 两个子产品。其中基于云原生开发环境的 IDP Studio,性能比肩本地 IDE,支持 Python 和 SQL,算法团队与业务团队可进行高效协作。IDP Studio 通过一键式接入主流云端数据库,在数据方面大大减轻数据科学家的工作;在环境管理方面,IDP 预置最推荐的环境并进行优化,让算法工程师专注于算法开发本身;此外,IDP Studio 通过内置常用的库包,并进行了兼容性的优化;提供可视化的模型对比工具;同时实现试验和生产在同一环境下进行,降低 AI 开发应用的门槛。



IDP 产品界面


IDP Engine 提供高性能任务调度和分布式计算两大核心功能,支持 task 级别任务调度,提高集群吞吐量。IDP Engine 对数据预处理、数据探索、机器学习、深度学习、推理等工作统一调度,对单机版进行性能优化,智能分布式执行,帮助企业提升算法开发效率,降低计算资源使用成本。比如,传统的本地单机工具,若想进行分布式训练,需算法工程师自行配置和实现,通常要配置单机和分布式两套代码,操作极其复杂;而 IDP Engine 天然支持分布式训练,且自动执行单机和分布式,算法工程师只写一套代码即可,大幅提升开发生产效率。


卢亿雷总结道,IDP 通过环境管理、数据源接入、模型构建、模型训练、模型管理、模型发布等功能,让算法工程师更专注于算法开发和模型试验本身,而“系统工程”相关的工作,交给 IDP 的工程师们来完成。本质上 IDP 是通过“让专业的人做专业的事儿”来帮助数据科学家、算法工程师降本增效!


IDP 目前在快消零售、游戏、工业、教育等领域已经实现广泛的应用。比如在快消零售领域,IDP 通过帮助零售企业利用 AI 模型构建高维用户画像,对消费者需求进行预测,实现精准营销。通过 AI 实现智能客服;在游戏领域,IDP 不仅能够提升游戏体验和开发效率,还能高效地开发、训练高性能用户分析相关模型,提升了用户转化效率;在工业领域,IDP 可以实现工业品缺陷检测、开发生产环节的安全监测;在教育行业,IDP 可用于高校科研训练、赛事准备,助力其大幅提升开发训练效率等。


把简单留给客户,把复杂留给自己


软件行业,特别是大数据、AI 相关的软件,如果使用很复杂、很难维护的话,那么它的产品生命周期通常会很短,只有简单易用的软件才可能保持长青。做 To B 产品要有同理心,产品多向前优化一步,每位用户操作时就能减少一步。


为此,卢亿雷会亲自参加公司内部各部门会议。他最担心的是产品没有被客户认可,因此会在各个环节都做到精益求精。比如,产品要做用户展示材料,他会亲自给产品界面截图,截图中涉及很多界面的展示,如图像大小等细节,因此他也被冠上公司“首席截图官”的称号;他也可以为产品中的一个运行按钮的位置、大小,与同事讨论三天才最终确定。


“简单、简单、再简单”是白海科技产品设计的核心原则。IDP 在功能、交互的设计上都致力于最简单明了,让客户一看就懂、一看就会。通过一键部署安装,无需复杂的使用文档,就能够顺利使用。易用性方面,卢亿雷带领团队通过大量访谈,了解数据科学家和算法工程师在这方面的核心痛点,并在 IDP 产品中进行针对性改进。


在性能方面,卢亿雷和他的团队聚焦从工程化的角度做性能的优化和提升。核心是从两方面发力,一是计算和调度引擎方面,主打高吞吐量,天然为高速分布式计算而服务;另一方面对前端的 IDE 进行性能优化,通过采用 Rust 语言的自研 Kernel,提升 IDE 的启动和运行速度。综合来看,IDP 可以让数据科学家和算法工程师的工作效率提升 30-100%。


卢亿雷在产品功能方面要求极其严格。他会让团队把竞品功能做充分调研,包括竞品功能能实现什么、有什么问题等;另外,他的团队每天都会与客户交流,获得需求、意见反馈。比如之前做 IDE 时,他和团队访谈了 100 多位算法工程师以及大量行业专家后,才最终确定每一处细节;把开发和生产挂钩,让用户可以基于 Pipeline 做大量自定义内容开发的功能定位,也是与用户大量沟通后确定的。“产品不是做出来就行,我们要引领行业的发展,一定是要做到最好。”


对于产品规划卢亿雷表示,近期公司会继续优化通用的 AI 开发生产基础平台。通用平台是土壤,只有土壤足够肥沃,才能更好地滋养上层应用;未来公司会构建针对具体行业场景的开箱即用解决方案,推动产品向全域的 AI 开发生产基础软件方向迈进!


Q&A

Q:白海科技打造的新一代 AI 开发生产平台,与现有的竞品相比优势在哪?降本增效方面,有具体数据做参考么?


A:我们的产品以 IDE 为统一的交互界面,所有的工程师都会用 IDE,因此亲近感、易用性都会更好。

但我们又不仅是 IDE,还有数据源接入、数据探索以及后端的任务调度与计算引擎等。目前我们支持 Python 和 SQL。不同语言的算法工程师的使用习惯和易用性诉求不同,我们访谈发现,Python 和 SQL 基本就满足了数据科学家的需求。另一个是 OPS,在 IDP 上把模型开发、测试、生产等全流程完成。

算法工程师的工作效率可以提升 30-100%。IDP 提升的不是通用性能,而是吞吐量。比如原来只能跑一个任务,现在可以跑两个,我们可以把任务的调度、资源利用率做到最高。在实验室环境,我们能做到几倍、十几倍的提升。


Q:在安全稳定、数据隐私方面,白海科技的 IDP 平台有哪些优势?


A:白海科技不存用户的数据;日志的记录、安全审计等,都是严格按照企业级标准设计,如用户系统通过 SSO,我们不会储存用户名和密码;所有的访问控制都有严格的记录,公司还会进行安全审计认证。


Q:我们几个月前完成数千万的融资,在产品研发、团队建设市场推广等方面,会有哪些大动作?


A:产研团队会继续招一些大牛过来,给团队更好的保障和支持;生态建设方面,做开源生态,7 月份会将自研 IDE 开源,有 Meetup、Hackathon,以及与极客时间等合作;


行业建设会花较多的时间,公司成功的标准不是通用平台做得好,而是行业繁荣了才算成功。后续我们会和行业伙伴,如独立软件开发商和解决方案提供商,快消零售、游戏等行业的头部客户建设行业生态。目前,我们在推动构建游戏行业产研联盟等。


关于 TGO 鲲鹏会

TGO 鲲鹏会是极客邦旗下科技领导者聚集和交流的组织,学员由 CTO、架构师、技术 VP、具有技术背景的 CEO 等组成,目前已经在北京、上海、深圳、广州、杭州、成都、硅谷、南京、台北、厦门、武汉、苏州等 12 个城市定期举办学习活动。

TGO 鲲鹏会采用了“学员共建”的组织形式,希望通过“共建、自治”的方式维护各城市的健康发展,为学员提供必要的服务,帮助学员个人更好地学习和成长,助力学员企业之间更好地合作与交流。加入 TGO 鲲鹏会,全方位提升自身价值,成为卓越科技领导者!



2022-06-30 16:023192

评论

发布
暂无评论
发现更多内容

咨询师的诱惑

escray

程序员 面试 面经

架构师训练营 1 期第 8 周:性能优化(二)- 作业

灵霄

极客大学架构师训练营

AI技术在音视频领域的发展

anyRTC开发者

人工智能 ios android AI WebRTC

博睿数据支持腾讯云函数监控,Serverless时代已来临

博睿数据

Serverless APM 监控

架构师训练营第六周作业

Geek_xq

京东将上线社区团购“京喜拼拼”:社区团购是否是一次泡沫大战

石头IT视角

架构师训练营 1 期第 10 周:模块分解 - 作业

灵霄

极客大学架构师训练营

【Java并发编程】阿里最喜欢问的几道线程池的面试题?

java金融

Java 面试 线程池

架构师训练营 1 期第 11 周:安全稳定 - 作业

灵霄

极客大学架构师训练营

IDEA插件:多线程文件下载插件开发

Silently9527

Java 多线程 idea插件 文件传输

一代版本一代神:利用Docker在Win10系统极速体验Django3.1真实异步(Async)任务

刘悦的技术博客

django python3.x 异步 异步任务

也谈“中年焦虑”

程序员架构进阶

方法论 职业规划 中年危机

智慧公安情报研判大数据系统分析平台搭建

t13823115967

智慧公安

LeetCode题解:剑指 Offer 40. 最小的k个数,二叉堆,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

像用户一样测试:不妨犯傻

QualityFocus

软件测试 体验 可用性 用户体验

【Java并发编程】面试必备之线程池

java金融

线程池

架构师训练营 1 期第 12 周:数据应用(一) - 作业

灵霄

极客大学架构师训练营

架构师训练营 1 期第 13 周:数据应用(二) - 作业

灵霄

极客大学架构师训练营

太平金科助力“开局之战”顺利启动,博睿数据“A+N”一体化解决方案全力护航

博睿数据

APM npm AIOPS

网易有道 iOS二面经验分享

iOSer

ios 面试 网易

生产环境全链路压测建设历程 22:FAQ 1&2

数列科技杨德华

全链路压测 七日更

简明设计模式—创建型

2970

设计模式 Go 语言

智慧警务平台搭建,大数据时代下的警务模式

t13823115967

大数据

即构低延迟直播产品L3,打造更优质的实时互动体验

ZEGO即构

架构师训练营第六周总结

Geek_xq

架构师训练营第五周”技术选型一“总结

随秋

极客大学架构师训练营

架构师训练营 1 期第 9 周:性能优化(三)

灵霄

极客大学架构师训练营

Devil Fruit恶魔果实APP系统软件开发

系统开发

数字资产钱包系统开发及介绍

面试官:我问的是Java内存模型,你回答堆栈方法区干嘛?

Java鱼仔

Java 程序员 JMM 多线程 并发

互联网寒冬下,程序员如何化解危机?答案全在这份阿里Java知识地图里

比伯

Java 编程 程序员 面试 计算机

白海科技卢亿雷:把简单留给用户 把复杂留给自己 | TGO 专访_技术管理_InfoQ精选文章