写点什么

问答 Datameer 公司 Andrew Brust:大数据在人工智能技术中扮演的角色

  • 2017-08-06
  • 本文字数:1785 字

    阅读完需:约 6 分钟

Datameer 最近发布的 SmartAI 可将大数据与机器学习模型结合在一起提供更深入的数据见解。

SmartAI 意在通过大数据实现人工智能,例如针对大规模的大数据运行人工智能算法,帮助企业中的分析师将人工智能模型融入分析工作流程,以安全合规的方式完成自己的工作。

InfoQ 与 Datameer 公司市场战略和智能部门资深总监 Andrew Brust 一起探讨了大数据在人工智能领域,尤其是 SmartAI 中所扮演的角色。

InfoQ:Datameer 原本一直在大数据领域耕耘,为何如今转战人工智能?大数据过时了吗?

Andrew Brust:Datameer 在大数据领域依然十分专注。实际上,SmartAI 的目的就在于将人工智能与大数据分析工作流程相互融合。对大部分企业来说,面对人工智能技术,最大的障碍依然在于大数据、商业智能,以及其他分析工具和技术之间严重的隔阂。我们希望通过 SmartAI 解决这个问题,将人工智能带入主流分析工作,驾驭人工智能的强大威力。

InfoQ:您觉得大数据和人工智能间的关系是怎样的?SmartAI 如何发挥该特性?

Brust:大数据和人工智能之间有着极强的协同增效关系,然而这个特点尚未得到业界的足够重视。对于 SmartAI,Datameer 意在将两个世界彻底打通。使用机器学习模型对数据计分,原本这主要是一种即席(Ad Hoc)的过程,大部分时候是在数据科学家的工作站上进行的。但计分操作其实也可以针对规模更大的大数据平台,以自动化的方式在 Hadoop 集群的所有节点上进行。这恰恰是我们目前的努力目标。

InfoQ:机器学习需要进行大量的数据准备和操作过程,从广义上来看,这是否可以发挥 Hadoop 的优势,尤其是,能否发挥贵公司的优势?

Brust:没错,数据准备也是我们的重要方向之一,同时也是大数据技术以及人工智能技术的重要一环。如果要实现人工智能,必须首先选择一种算法并训练模型。训练模型所用的数据必须足够“干净”,通过筛选仅包含最基本的输入(特征)列,并在恰当层面上进行汇总。数据的准备过程必须完成上述所有操作。因此也需要针对原始数据中所呈现的值进行复杂计算,得到基于列的数据。Datameer 可以使用 Hadoop 做到所有这一切,并且效果很不错。因此在我们的产品中增加人工智能的相关能力就成了一种很自然的做法。

InfoQ:您所说的人工智能的“运维化”是指什么?能否从广义上,以及 SmartAI 的角度深入介绍一下相关技术细节?

Brust:正如之前所说,原本,数据计分操作是一种纯手工,量身定制的过程,需要由数据科学家在自己的工作站上进行。这一过程的输出结果对业务非常有用。然而这种方式并未在企业中形成标准,更多的只是一种手工点击按钮运行某些重要计算过程的做法。

计分过程需要自动化,需要管理,需要监视,需要在更大尺度下运行。此外还需要实现运维化。至今我们依然没有做到这一切,听起来似乎有些荒谬,但大部分情况下实际情况确实如此。通过使用 SmartAI,计分操作可以实现运维化,该产品可集成在与近年来流行的大数据分析技术相同的数据流程引擎和管理平台中。

这种方式塑造了一些全新用例,例如每天或每小时针对大数据运行流失分析模型,同时还可以完全遵守针对此类分析所设立的各种合规策略。

InfoQ:在深度学习的范围内,SmartAI 能否同时解决训练和推断有关的问题?还是主要解决了与分析有关的问题?

Brust:Datameer 并不涉及实际的训练过程,数据科学家依然需要使用自己惯用的开发环境、语言、工具,和 / 或命令行接口训练自己的模型。

模型训练完成后,即可导入 Datameer 并且可供调用,我们的库中还额外提供了超过 270 种电子表格函数。借此即可将人工智能嵌入到安全、受管控、可调度的数据流程中,将本就很强大的分析能力与人工智能结合在一起,发挥出更大威力。

InfoQ:最后,为何要选择 TensorFlow?该产品的未来规划中是否考虑过解决人工智能领域的其他问题?

Brust:目前 TensorFlow 很流行,很受关注,整个生态的发展非常良好,因此我们也选择了这个技术。人工智能领域的创新速度很快,我们都知道还有其他很多开源的深度学习框架,其中每一个都有可能迎来更大的发展势头。因此我们会密切关注整个行业,及时掌握最新变化,我们针对 TensorFlow 所采取的结构化的方法也可以用于其他库,不过目前来说,对于将 SmartAI 以及 TensorFlow 集成在 Datameer 产品中的决定,我们觉得是非常妥善的。

Datameer SmartAI 很快即将发布技术预览版。

阅读英文原文 Q&A with Andrew Brust of Datameer Regarding Big Data’s Role in AI

2017-08-06 19:001729
用户头像

发布了 283 篇内容, 共 119.2 次阅读, 收获喜欢 63 次。

关注

评论

发布
暂无评论
发现更多内容

JavaScript基础之值和引用

7月月更

如何用Apifox 的智能Mock功能?

Liam

前端 Mock

Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

OpenHacker

Docker

那个从「四大」出来的小哥哥,后来怎么样了|ONES 人物

万事ONES

版本通告|Apache Doris 1.1 Release 版本正式发布!

SelectDB

数据库 数据仓库 Doris apache doris 版本更新

iOS 中的代理模式

NewBoy

ios 前端 移动端 iOS 知识体系 7月月更

连麦直播系统软件——语音聊天系统

开源直播系统源码

软件开发 直播源码 开源源码 连麦语音直播 语音聊天直播

大数据培训如何优化HiveSQL

@零度

大数据开发 hiveSQL

技术分享| 快对讲-5G对讲

anyRTC开发者

音视频 传输协议 快对讲 RAST

云图说丨OLAP开源引擎的一匹黑马,MRS集群组件之ClickHouse

华为云开发者联盟

数据库 后端

入门即享受!coolbpf 硬核提升 BPF 开发效率 | 龙蜥技术

OpenAnolis小助手

开源 技术 龙蜥大讲堂 BPF coolbpf

在线版 Python 图片转字符画

OpenHacker

Python

分布式锁用 Redis 还是 Zookeeper?

C++后台开发

redis zookeeper 分布式 后端开发 C++后台开发

ES6 --- 展开运算符(一)

bo

前端 面试题 ES6 深拷贝 7月月更

用户体验 | 银行如何优化APP用户体验

易观分析

用户体验

深度解析:LP流动性挖矿系统开发逻辑拆解

开发微hkkf5566

【运维小知识】单点登录是什么意思?有什么作用?

行云管家

运维 单点登录 IT运维

Python 入门指南之虚拟环境和包

海拥(haiyong.site)

7月月更

学习WEB前端去哪里培训比较好

小谷哥

首次公开!华为顶级团队合编300页Docker进阶手册,理论实战双收

冉然学Java

Java Docker 操作系统 #技术干货#

裴丹:AIOps 智能运维经验分享

华为云开发者联盟

云计算 后端

2022年盘点,主流前端跨端技术方案(包含小程序)

Speedoooo

flutter taro Weex React Native finclip

记录一次现场 mysql 重复记录数据的排查处理

安逸的咸鱼

MySQL 实战案例 7月月更

五分钟拿捏Python字典-Python3入门必备[字典详细操作]

迷彩

Python 字典 7月月更 入门教程

IDC 发布《云原生 AI - 加速 AI 工程化落地》报告,百度智能云领跑云原生 AI 能力

Baidu AICLOUD

异构计算 AI加速 云原生AI

2022可信云大会 | 中国信通院云上软件工程评估结果即将发布

中国IDC圈

软件工程 可信云 评估结果

金融业转型升级的新范式,就“藏”在华为云数仓里

科技热闻

这些功能要是没有,我大 Pro 还怎么出来混!

CRMEB

AI 翻译助力社交泛娱乐应用全球无障碍沟通

融云 RongCloud

SpringSecurity 添加验证码的两种方式

急需上岸的小谢

7月月更

问答Datameer公司Andrew Brust:大数据在人工智能技术中扮演的角色_大数据_Rags Srinivas_InfoQ精选文章