写点什么

白海科技卢亿雷:把简单留给用户 把复杂留给自己 | TGO 专访

TGO鲲鹏会

  • 2022-06-30
  • 本文字数:4417 字

    阅读完需:约 14 分钟

白海科技卢亿雷:把简单留给用户 把复杂留给自己 | TGO 专访

卢亿雷,白海科技创始人兼 CEO,TGO 鲲鹏会(北京)董事会成员。曾先后任职于联想研究院、百度和明略科技,负责联想网盘的分布式存储和高性能计算、Hadoop 分布式计算,以及 AI 算法平台和数据分析平台等工作。卢亿雷是 CCF 大数据专委常务委员和高性能专委委员,中国大数据技术大会主席,2017 年中国大数据行业领军人物,超过 15 年大数据和 AI 计算平台经验。


就像农作物是人类赖以生存的基础一样,AI 正成为人类经济发展迈向更高台阶的核心驱动力。育种专家通过科研攻关,把口感好、品质高、价格低的产品送上普通人的餐桌;现在,一批 AI 行业领军者正在从实际应用需求和痛点出发,推出使用简单、成本低廉、性能强劲的 AI 开发生产平台,助力产业转型升级。

卢亿雷,就是这批 AI 领军者中的一员。他始终坚信,AI 技术唯有下沉到各行各业,普惠生活的方方面面,才能发挥它真正的价值。


对于行业趋势卢亿雷表示,AI 开发生产平台今后将呈现简单化、云原生和一站式三大趋势。其中,简单化尤为重要。经历了由简单到复杂集成式工具的演变后,简单、再简单和高度易用将是 AI 开发生产工具的未来发展方向。


“To C 产品通常简单到不需要复杂的用户手册,企业级 AI 开发生产平台也可以做的像 To C 产品一样简单,推动 AI 的普惠化。”卢亿雷说到。


让 AI 下沉产业端,开发效率成破局核心


近年来,在互联网、传统企业深度拥抱数字化、云原生等新兴技术的趋势下, AI 已成为不可或缺的底层支撑。由此带来的是算法进入到“工业化大生产“阶段,模型愈加复杂和庞大,而算法工程师普遍缺乏高易用性用具,难以提升开发效率;此外,机器学习算法使用的计算能力已远超摩尔定律,高性能、低成本算力亦成为制约 AI 发展的重要瓶颈。不少企业为解决这一难题,投身于 AI 开发生产平台的构建之中,但理想与现实尚存不小的差距。


卢亿雷表示,自己和团队在 2015 年便开始尝试用开源工具构建 AI 开发生产平台,但开源工具改造的平台在易用性和性能上差强人意;目前市场上的解决方案主要分为集成式机器学习平台和 AI 开发生产基础软件,两者各有特色,但均不能同时满足企业和专业开发者在性能和易用性方面的需求。


比如由云厂商、垂直一体化平台厂商打造的集成式机器学习平台,其核心特点是数据准备、模型开发、模型训练、模型部署等各功能子产品都集成于同一平台,导致产品较为厚重、配置复杂、上手困难;


而 AI 开发生产基础软件,其核心特点是数据准备功能包 / 插件、算法调试功能包 / 插件、模型部署功能包 / 插件等可以按需自动配置。不过,各组件的适配表现欠佳且门槛较高,需算法开发人员对系统工程有较深了解。不仅如此,AI 开发生产基础软件通常缺乏引擎支撑,较难满足企业级客户对性能和效率的要求。


据卢亿雷介绍,用传统的 AI 开发工具,数据科学家需要把数据下载到本地,这过程就很复杂,且还涉及到数据版本管理的问题;算法工程师需要部署、搭建实验环境,但大多数算法工程师对系统工程领域涉猎有限,环境部署和管理对他们来说具有不小的挑战性;在算法开发过程中,算法工程师还需要很多库包,但第三方库包和开发工具又可能会有兼容性的问题;在训练过程中,由本地单机代码进行分布式训练,面临代码调整和训练性能、效率的挑战;不仅如此,传统的 AI 开发工具的试验环境和生产环境也是割裂的......


一系列降低开发效率、阻碍计算性能的难题,成为 AI 有效下沉产业的阻碍。卢亿雷称,“要解决专业算法工程师日常开发、生产的核心痛点,让他们更专注于算法开发和模型试验本身,以提升开发效率和性能,突破 AI 普惠的瓶颈。”


以应用需求和痛点出发,构建 AI 开发生产解决方案


过去一位数据科学家的工作流程是这样的,首先需要安装一些工具并配置开发环境,在进行完数据探索后,选择算法模型,并对模型进行开发和训练,筛选出最优模型后将模型文件交给工程师团队,工程师用 C++/JAVA 对模型进行工程化处理,但这个过程会涉及很多复杂的问题,比如精度等。另外,上线后随着时间的推移,模型可能也会存在表现得不理想的情况......


卢亿雷表示,传统的 AI 开发工具在数据、环境管理、模型选择、分布式训练、数据精准度等方面存在诸多痛点;他和他的团队以数据科学家、算法工程师的需求和痛点出发,通过自研的云原生 AI 开发生产平台——IDP(Intelligent Development Platform),构建 AI 开发生产解决方案。


IDP 产品架构图


据卢亿雷介绍,白海科技 IDP 有 IDP Studio 和 IDP Engine 两个子产品。其中基于云原生开发环境的 IDP Studio,性能比肩本地 IDE,支持 Python 和 SQL,算法团队与业务团队可进行高效协作。IDP Studio 通过一键式接入主流云端数据库,在数据方面大大减轻数据科学家的工作;在环境管理方面,IDP 预置最推荐的环境并进行优化,让算法工程师专注于算法开发本身;此外,IDP Studio 通过内置常用的库包,并进行了兼容性的优化;提供可视化的模型对比工具;同时实现试验和生产在同一环境下进行,降低 AI 开发应用的门槛。



IDP 产品界面


IDP Engine 提供高性能任务调度和分布式计算两大核心功能,支持 task 级别任务调度,提高集群吞吐量。IDP Engine 对数据预处理、数据探索、机器学习、深度学习、推理等工作统一调度,对单机版进行性能优化,智能分布式执行,帮助企业提升算法开发效率,降低计算资源使用成本。比如,传统的本地单机工具,若想进行分布式训练,需算法工程师自行配置和实现,通常要配置单机和分布式两套代码,操作极其复杂;而 IDP Engine 天然支持分布式训练,且自动执行单机和分布式,算法工程师只写一套代码即可,大幅提升开发生产效率。


卢亿雷总结道,IDP 通过环境管理、数据源接入、模型构建、模型训练、模型管理、模型发布等功能,让算法工程师更专注于算法开发和模型试验本身,而“系统工程”相关的工作,交给 IDP 的工程师们来完成。本质上 IDP 是通过“让专业的人做专业的事儿”来帮助数据科学家、算法工程师降本增效!


IDP 目前在快消零售、游戏、工业、教育等领域已经实现广泛的应用。比如在快消零售领域,IDP 通过帮助零售企业利用 AI 模型构建高维用户画像,对消费者需求进行预测,实现精准营销。通过 AI 实现智能客服;在游戏领域,IDP 不仅能够提升游戏体验和开发效率,还能高效地开发、训练高性能用户分析相关模型,提升了用户转化效率;在工业领域,IDP 可以实现工业品缺陷检测、开发生产环节的安全监测;在教育行业,IDP 可用于高校科研训练、赛事准备,助力其大幅提升开发训练效率等。


把简单留给客户,把复杂留给自己


软件行业,特别是大数据、AI 相关的软件,如果使用很复杂、很难维护的话,那么它的产品生命周期通常会很短,只有简单易用的软件才可能保持长青。做 To B 产品要有同理心,产品多向前优化一步,每位用户操作时就能减少一步。


为此,卢亿雷会亲自参加公司内部各部门会议。他最担心的是产品没有被客户认可,因此会在各个环节都做到精益求精。比如,产品要做用户展示材料,他会亲自给产品界面截图,截图中涉及很多界面的展示,如图像大小等细节,因此他也被冠上公司“首席截图官”的称号;他也可以为产品中的一个运行按钮的位置、大小,与同事讨论三天才最终确定。


“简单、简单、再简单”是白海科技产品设计的核心原则。IDP 在功能、交互的设计上都致力于最简单明了,让客户一看就懂、一看就会。通过一键部署安装,无需复杂的使用文档,就能够顺利使用。易用性方面,卢亿雷带领团队通过大量访谈,了解数据科学家和算法工程师在这方面的核心痛点,并在 IDP 产品中进行针对性改进。


在性能方面,卢亿雷和他的团队聚焦从工程化的角度做性能的优化和提升。核心是从两方面发力,一是计算和调度引擎方面,主打高吞吐量,天然为高速分布式计算而服务;另一方面对前端的 IDE 进行性能优化,通过采用 Rust 语言的自研 Kernel,提升 IDE 的启动和运行速度。综合来看,IDP 可以让数据科学家和算法工程师的工作效率提升 30-100%。


卢亿雷在产品功能方面要求极其严格。他会让团队把竞品功能做充分调研,包括竞品功能能实现什么、有什么问题等;另外,他的团队每天都会与客户交流,获得需求、意见反馈。比如之前做 IDE 时,他和团队访谈了 100 多位算法工程师以及大量行业专家后,才最终确定每一处细节;把开发和生产挂钩,让用户可以基于 Pipeline 做大量自定义内容开发的功能定位,也是与用户大量沟通后确定的。“产品不是做出来就行,我们要引领行业的发展,一定是要做到最好。”


对于产品规划卢亿雷表示,近期公司会继续优化通用的 AI 开发生产基础平台。通用平台是土壤,只有土壤足够肥沃,才能更好地滋养上层应用;未来公司会构建针对具体行业场景的开箱即用解决方案,推动产品向全域的 AI 开发生产基础软件方向迈进!


Q&A

Q:白海科技打造的新一代 AI 开发生产平台,与现有的竞品相比优势在哪?降本增效方面,有具体数据做参考么?


A:我们的产品以 IDE 为统一的交互界面,所有的工程师都会用 IDE,因此亲近感、易用性都会更好。

但我们又不仅是 IDE,还有数据源接入、数据探索以及后端的任务调度与计算引擎等。目前我们支持 Python 和 SQL。不同语言的算法工程师的使用习惯和易用性诉求不同,我们访谈发现,Python 和 SQL 基本就满足了数据科学家的需求。另一个是 OPS,在 IDP 上把模型开发、测试、生产等全流程完成。

算法工程师的工作效率可以提升 30-100%。IDP 提升的不是通用性能,而是吞吐量。比如原来只能跑一个任务,现在可以跑两个,我们可以把任务的调度、资源利用率做到最高。在实验室环境,我们能做到几倍、十几倍的提升。


Q:在安全稳定、数据隐私方面,白海科技的 IDP 平台有哪些优势?


A:白海科技不存用户的数据;日志的记录、安全审计等,都是严格按照企业级标准设计,如用户系统通过 SSO,我们不会储存用户名和密码;所有的访问控制都有严格的记录,公司还会进行安全审计认证。


Q:我们几个月前完成数千万的融资,在产品研发、团队建设市场推广等方面,会有哪些大动作?


A:产研团队会继续招一些大牛过来,给团队更好的保障和支持;生态建设方面,做开源生态,7 月份会将自研 IDE 开源,有 Meetup、Hackathon,以及与极客时间等合作;


行业建设会花较多的时间,公司成功的标准不是通用平台做得好,而是行业繁荣了才算成功。后续我们会和行业伙伴,如独立软件开发商和解决方案提供商,快消零售、游戏等行业的头部客户建设行业生态。目前,我们在推动构建游戏行业产研联盟等。


关于 TGO 鲲鹏会

TGO 鲲鹏会是极客邦旗下科技领导者聚集和交流的组织,学员由 CTO、架构师、技术 VP、具有技术背景的 CEO 等组成,目前已经在北京、上海、深圳、广州、杭州、成都、硅谷、南京、台北、厦门、武汉、苏州等 12 个城市定期举办学习活动。

TGO 鲲鹏会采用了“学员共建”的组织形式,希望通过“共建、自治”的方式维护各城市的健康发展,为学员提供必要的服务,帮助学员个人更好地学习和成长,助力学员企业之间更好地合作与交流。加入 TGO 鲲鹏会,全方位提升自身价值,成为卓越科技领导者!



2022-06-30 16:024102

评论

发布
暂无评论
发现更多内容

移动应用中的第三方SDK隐私合规检测,早知道

华为云开发者联盟

移动应用 安全 sdk 隐私 隐私合规

java培训:JVM 内存布局

@零度

JVM JAVA开发

冬奥高质量炫技,Get同款“魔法”:图像处理算法 | 赠书

博文视点Broadview

了解一下ProtoBuf

蜜糖的代码注释

protobuf 2月月更

多图|一文详解Nacos参数!

王磊

nacos

15 行代码在 wangEditor v5 使用数学公式

CRMEB

敏捷研发项目,我们该如何度量?

阿里云云效

阿里云 项目管理 云原生 度量 敏捷研发

看SparkSQL如何支撑企业级数仓

字节跳动数据平台

hive 字节跳动 Sparksql 数仓

基于CC2530(ZigBee)设计的自动照明系统

DS小龙哥

2月月更 自动照明系统设计

51WORLD赋能数字孪生流域/工程建设,助力智慧水利创新发展

Meta 小元

可视化 数字孪生 智慧水利 元宇宙

祝贺!首届龙蜥社区年度突出贡献奖揭晓,马上查看

OpenAnolis小助手

Linux 开源 互联网 社群运营

华为云企业级Redis揭秘第16期:超越开源Redis的ACID"真"事务

华为云开发者联盟

redis 事务 ACID GaussDB(for Redis) 开源Redis

终极指南:企业级云原生 PaaS 平台日志分析架构全面解析

尔达Erda

微服务 云原生 PaaS 云原生应用

技术盘点:容器技术的演进路线是什么?未来有哪些想象空间?

阿里巴巴云原生

阿里云 容器 云原生

2022年每个开发者必知的云原生趋势 | 社区征文

Geek_rze78a

容器 微服务 云原生 新春征文

vivo 服务端监控架构设计与实践

vivo互联网技术

服务端 系统监控 构架

深入理解持续测试:DevOps 流程中的重要一环

飞算JavaAI开发助手

面对锁等待难题,数仓如何实现问题的秒级定位和分析

华为云开发者联盟

sql GaussDB(DWS) 锁等待 分布式死锁

外包学生管理系统的架构设计

yhjhero

#架构训练营

大画 Spark :: 网络(4)-Endpoint注册使用与网络环境的构建

dclar

大数据 spark 源代码 框架原理

KubeVela v1.2 发布:你要的图形化操作控制台 VelaUX 终于来了!

阿里巴巴云原生

阿里云 开源 云原生 KubeVela

福昕鲲鹏加入,龙蜥社区迎来版式文档技术服务新伙伴

OpenAnolis小助手

Linux 开源 社区 福昕

数字孪生的起源,从救宇航员回家开始

Meta 小元

数据可视化 智慧城市 数字孪生 元宇宙

突然发现,npm里request依赖包已经弃用,怎么办?

华为云开发者联盟

npm HTTP node,js Request request依赖包

敏捷开发中的「史诗」到底是什么?

LigaAI

项目管理 敏捷开发 史诗

【C语言】二维数组

謓泽

C语言 2月月更 二维数组

大数据培训:构建Flink SQL流式计算平台

@零度

flink sql 大数据开发

前端培训:Vue3语法糖详解分享

@零度

Vue 前端开发

SQL学习(持续更新)

阿丞

事务 索引 sql

怎么说服领导,能让我用DDD架构肝项目?

小傅哥

DDD 小傅哥 技术架构 架构实践

外屏和宽屏浪费了?HarmonyOS折叠屏设计规范教你用起来

HarmonyOS开发者

HarmonyOS

白海科技卢亿雷:把简单留给用户 把复杂留给自己 | TGO 专访_技术管理_InfoQ精选文章