【ArchSummit架构师峰会】探讨数据与人工智能相互驱动的关系>>> 了解详情
写点什么

TensorFlow 企业版来了,商业 AI 平台:“这日子没法过了”

  • 2019-11-19
  • 本文字数:3552 字

    阅读完需:约 12 分钟

TensorFlow企业版来了,商业AI平台:“这日子没法过了”

谷歌于今年 10 月份推出 TensorFlow 企业版,补足企业市场短板。谷歌的 TensorFlow 机器学习框架于 2015 年开源,并迅速成为最受欢迎的机器学习平台之一。到目前为止,已经被下载 4600 万次。


TensorFlow Enterprise 最重要功能之一是它将提供长期的技术支持。针对某些版本,谷歌将提供长达三年的补丁程序,所有补丁和错误修复将在 TensorFlow 主线代码存储库中提供。另外,谷歌还将向正在构建 AI 模型的公司提供来自 Google Cloud 和 TensorFlow 团队的工程协助。


由于目前市场上的商业通用 AI 平台(软件即服务,下简称商业 AI 平台)跟 AI 云服务在功能上高度重合,且商业模式不及云服务,谷歌提供企业版之后,这些 AI 平台初创企业压力倍增。

大数据和云企业的施压

从 2018 年到现在,AI 行业就频繁传出 AI 公司倒闭潮的预测。业内不断的有声音认为“90%的 AI 企业面临倒闭”,“会有一波大的洗牌”。


谷歌的 DeepMind 在过去三年里,亏损 10 亿美元,但未来还有 10 亿的预算投入。AI 创业企业,没有谷歌之于 DeepMind 的背景,就得有自我造血功能,方能活下去。比如当初做“三维视觉感知”的强 AI 企业,也得朝主流的“深度学习+人脸识别”转移,进入安防行业落地。


而商业 AI 平台通常的落地场景是金融领域,如银行业的风控、精准营销;零售行业,如智能推荐、销售预测…


如今,大多数企业都在谈数字化转型,为了保持企业的营收持续增长。风控、精准推荐也是主流大数据企业的关键业务。而 AI 平台型初创企业跟主流大数据企业相比起来优势并不明显。



机器学习流程原型是首先清理数据,然后提取特征,最后经过转换的输入通过一个机器学习模型以创建预测结果。


机器学习算法只是其中一环。数据是机器学习应用的重中之重,数据准备占据了 60%以上人天成本。传统大数据企业在数据治理上积累了多年的经验,数据治理能力、数据存储集群管理能力也是一些大数据企业的天然技术壁垒。当商业 AI 平台落地业务时,还是要面对各种脏数据,需要投入大量人力时间解决数据问题。


挣到钱,有自我造血能力才能活下去,才能进化得更好。与大数据企业同食一块蛋糕,在这些落地场景里,AI 平台即服务的优势并不明显,那么盈利能力堪忧。


另外不可忽视的是机器学习平台同样需要管理和维护工具。云服务的优势恰恰是维护容易,且形式灵活,可支持私有云部署。


另外类似谷歌这类的主流云服务功能上不仅提供了精准推荐、预测,还有强 AI 功能如语音识别和图像处理等功能,这些强 AI 能力通常也有大厂的 AI 实验室予以保证。并且云服务可按需付费,商业模式清晰且受过验证。对于谷歌和国内的 BAT 云服务来说,是在云服务应用广泛的基础上叠加 AI 能力,比起平台即服务,AI 销售压力较小,可有更多的力量投入到长期性的技术研发中。

开源的逼迫力量

2015 年 11 月,谷歌第二代深度学习框架 TensorFlow 横空出世。


2015 年注定成为开源的分水岭。谁也不曾料到,后面几年在人工智能领域里,涌起的开源浪潮有多猛烈。


与 TensorFlow 同一时期,微软亚洲研究院开源机器学习工具包 DMTK。


2016 年 9 月百度发布“Paddle”,腾讯也在当年发布 Angel。


2016 年 11 月亚马逊宣布将 MXNet 作为官方深度学习平台。


2017 年 1 月,Facebook 推出机器学习框架 PyTorch。


2017 年,Uber 开源了 Horovod。


AI 框架上承应用、下接芯片,是 AI 产业的软件支柱,包含几个层次,比如底层的芯片、含数据存储的大数据集群;再一层是计算框架,类似 Spark 这样的 ML 框架、TensorFlow 这样的 DL 框架;再往上一层是高级 API 和分布式调度框架,如 Angel;最上一层,是 AI 业务应用,如推荐系统、智能问答、人脸识别…每个层次均有对应的开源软件可组合使用。


这些开源平台背后技术力量雄厚,且各有优点。


比如 TensorFlow 基于 Python,写的很快并且具有可读性;在多 GPU 系统上的运行更为顺畅;代码编译效率较高;提供 API 的支持,可直接解决各种机器学习任务。在工业界,TensorFlow 使用率达到最高。


比如 Uber 开源参数服务器 Horovod 通过 AllReduce 来实现机器间模型同步,由于底层使用 MPI、支持 RDMA 等高性能网络,可以利用带宽并行。同时与主流深度学习打通,Tensorflow,PyTorch 等,有良好生态方便上手。


利用开源的项目,开发人员就能完成基本的任务,在开源的推动下,中国出现了近千家 AI 创业公司,仅次于排名第一的美国。


商用 AI 平台需要在多个主要环节强于开源软件,才能叫好并叫座。目前开源还是商业化 AI 平台即服务的强有力的对手,并且这次提供的 TensorFlow 企业版服务提供了高达 3 倍的数据读取改进(TensorFlow 读取和缓存文件方式更改的结果)。并且已针对 Nvidia GPU 和 Google Cloud TPU 优化了企业版。TensorFlow 企业版针对实际使用的硬件和平台都做了优化,更好的提升了企业 AI 平台的性能。

AutoML

使用 AutoML 是目前比较主流的机器学习平民化方法,被一些 AI 平台当作杀手锏。同时 AutoML 被认为是解决十万 AI 人才缺口的救星。


2018 年 1 月,当时的谷歌云首席科学家李飞飞和谷歌云研发负责人李佳宣告 Cloud AutoML 的问世。


机器学习涉及到数据预处理、特征工程、模型调参等环节。还需要人工选择参数,设计模型,验证调整,如此反复。AutoML 让这些自动完成,相当于让 AI 来设计 AI。与专业调参建模相比,AutoML 的优势在于使用门槛低,解决一些重复性劳动。


在真实世界里,技术是流动的,永远不会静止,永远不会完结,永远不会完美。

–《技术的本质》


目前的 AutoML 的缺点也是很明显的,首先是一个黑盒的模块,大量的数据预处理、特征或者模型的尝试,专家没有办法干预,因此可能会带来一些效率低下的问题,消耗大量算力,其次是 AutoML 只能解决确定性的可量化的目标,对于实际情况,需要在多个不同的业务目标(比如准确率和线上延迟)之间进行权衡,以及可能需要涉及到一些不可以明确量化的目标,比如可解释性,这些情况下目前的 AutoML 是无法有效工作的,甚至有些时候,人也没有办法一下子给出目标,需要不断地探索。


深度学习专家 François Chollet 也曾置评这项技术:“不久之后,AutoML 就会发现他们将面临和强化学习一样的问题:人们会用非常具体的(有缺陷的)方法来解决许多宽泛的问题。”


有些企业的解决方式是引入人机交互的方式,但同样需要专业的人士参与,也不能根本上解决人才缺口的问题。目前的 AutoML 还达不到理想效果,还需多年的努力。

下一个趋势是什么

2016 年,小米的创办人雷军说过:“站在风口上,猪都会飞”。


2016 年初,Alpha Go 击败了代表人类出战的李世石。BAT 在这一年纷纷开始了 AI 布局,给予了大量的人力和财力。


中国互联网在过去的 15 年中,经历过五六个周期,每个周期主题都不太一样。最开始的门户网站,出现了如新浪、网易、搜狐等企业;然后是增值电信业务,腾讯当年靠电信业务上市;再后面是视频网站和社交网站;然后是电商和互联网金融企业,如阿里巴巴、京东。不严格划分,就是三年一个周期。


最近三年,也可以说是 AI 企业涌起的周期,这条赛道同样出现了几百家甚至上千家创业企业。这三年,有开始的创立浪潮,也有最后的寒冬衰退。


商用 AI 平台经历了数年发展,如果现在还没建起明显的技术护城河,没有令人信服的技术优势,对比云服务,功能重合,盈利模式堪忧,靠加强宣传的方式照样解决不了问题。


更不曾想到,在 2019 年底,谷歌在 TensorFlow 市场占有率无敌的背景条件下再次推出企业版,强占企业市场。


趁时势可以起大事,但也要在“风口”中炼出真功夫,“风口”过后才是真较量。


在与技术专家的交谈中,对比商业 AI 平台,专业人士也都表示更看好谷歌的 TensorFlow 企业版策略。


回头去看,这是商业 AI 平台的创建者缺乏远思吗?其实,除商业 AI 平台之外还有很多 AI 落地都经过了战略性收缩。


2018 年 10 月 21 日,特斯拉已经从公司官网的预订页面下架了长期以来提供的“全自动驾驶”选项。马斯克曾在三年前声称,2017 年之前特斯拉将实现全自动驾驶,如今这个目标的实现已无定期。


2015 年 4 月,IBM 成立了独立的 Watson Health 部门;到 2016 年,IBM 第四次转型,Watson 被寄予担纲厚望。2019 年 4 月,投资 50 亿的 IBM 医疗裁员 70%。


微软最初于 2015 年 12 月推出了针对 iOS 和 Android 的语音助手 Cortana(微软小冰)。2019 年 11 月,微软宣布其语音助手 Cortana 战略性收缩,将在 2020 年 1 月 31 日退出 iOS 和 Android 平台(美国除外)。


通用 AI 一直是顶级 AI 专家的梦想,也是谷歌 DeepMind 终极目标。就像前面所说,DeepMind 在未来还有 10 亿的预算投入,这样的投入,对于一般企业来说,是望而却步的存在。


这些 AI 的小败局,不过就是告诉今天的你,有哪些技术已能见效,有哪些技术目前还不稳定还不理想;有哪些行业属于刚需,有哪些行业还需继续探索。未来还有什么行业值得投入,这将决定 AI 企业的成败。


公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2019-11-19 08:288659

评论

发布
暂无评论
发现更多内容

性能测试中集合点和多阶段问题初探

FunTester

性能测试 接口测试 测试框架 测试开发 FunTester

手撸二叉树之二叉搜索树中的众数

HelloWorld杰少

9月日更

写给互联网工程师的5G书 | 0. 前言

俞凡

架构 5G

OpenSL ES

Changing Lin

9月日更

Golang 中的好代码 VS 烂代码

baiyutang

编码 Go 语言 9月日更

Vue进阶(幺零八):npm run build 错误 (node:7852) UnhandledPromiseRejectionWarning: CssSyntaxError:xxxx. 解决分析

No Silver Bullet

Vue 9月日更

【LeetCode】有效的括号字符串Java题解

Albert

算法 LeetCode 9月日更

一名优秀的技术Leader是如何炼成的?

架构精进之路

管理 技术管理 引航计划 内容合集

深入理解Java中的不可变对象(1),面试加分项

Java 程序员 后端

Mybatis Plus 的 @SqlParser 的说明与替代注解

玄兴梦影

注解 过滤器 Mybatis-Plus

三分钟带你入门-redis-高可用架构之哨兵,大厂Java高级面试题汇总解答

Java 程序员 后端

深入理解Java虚拟机-虚拟机执行子系统,字节跳动超高难度三面java程序员面经

Java 程序员 后端

HTML进阶(三)

Augus

html 9月日更

分享 4 个前端开发必备的 Chrome 扩展

devpoint

SVG chrome扩展 9月日更

为何数据类大项目都会先做盘点??

奔向架构师

数据仓库 数据治理 9月日更

Parted 创建 GPT 分区

耳东@Erdong

Linux 9月日更 parted 磁盘分区

Context 和 struct

Rayjun

struct Context Go 语言

Redis核心原理与实践--列表实现原理之ziplist结构

binecy

redis 源码分析

Kubernetes环境Traefik部署与应用

Galen Suen

Kubernetes Helm Traefik

网络攻防学习笔记 Day133

穿过生命散发芬芳

网络基础 9月日更

数据结构和算法应用

Albert

算法 9月日更

常用特殊符号大全

入门小站

工具

深入理解JAVA虚拟机原理之垃圾回收器机制(一),Java开发6年了

Java 程序员 后端

linux之chsh命令

入门小站

Linux

科技的进步会造福人类吗--闲聊科幻

姬翔

9月日更

写给互联网工程师的5G书 | 1. 简介

俞凡

架构 5G

深入理解 Java 多线程核心知识:跳槽面试必备,Java算法基础面试题

Java 程序员 后端

深入理解Java中的不可变对象,这可能是目前最全的

Java 程序员 后端

【Flutter 专题】49 图解 Flutter 与 Android 原生交互

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 9月日更

双指针算法之同向双指针

泽睿

Java 数据结构 面试 双指针算法

服务注册与发现的原理和实现

万俊峰Kevin

微服务 服务注册与发现 microservice 服务发现 Go 语言

TensorFlow企业版来了,商业AI平台:“这日子没法过了”_AI&大模型_Tina_InfoQ精选文章