写点什么

问答 Datameer 公司 Andrew Brust:大数据在人工智能技术中扮演的角色

  • 2017-08-06
  • 本文字数:1785 字

    阅读完需:约 6 分钟

Datameer 最近发布的 SmartAI 可将大数据与机器学习模型结合在一起提供更深入的数据见解。

SmartAI 意在通过大数据实现人工智能,例如针对大规模的大数据运行人工智能算法,帮助企业中的分析师将人工智能模型融入分析工作流程,以安全合规的方式完成自己的工作。

InfoQ 与 Datameer 公司市场战略和智能部门资深总监 Andrew Brust 一起探讨了大数据在人工智能领域,尤其是 SmartAI 中所扮演的角色。

InfoQ:Datameer 原本一直在大数据领域耕耘,为何如今转战人工智能?大数据过时了吗?

Andrew Brust:Datameer 在大数据领域依然十分专注。实际上,SmartAI 的目的就在于将人工智能与大数据分析工作流程相互融合。对大部分企业来说,面对人工智能技术,最大的障碍依然在于大数据、商业智能,以及其他分析工具和技术之间严重的隔阂。我们希望通过 SmartAI 解决这个问题,将人工智能带入主流分析工作,驾驭人工智能的强大威力。

InfoQ:您觉得大数据和人工智能间的关系是怎样的?SmartAI 如何发挥该特性?

Brust:大数据和人工智能之间有着极强的协同增效关系,然而这个特点尚未得到业界的足够重视。对于 SmartAI,Datameer 意在将两个世界彻底打通。使用机器学习模型对数据计分,原本这主要是一种即席(Ad Hoc)的过程,大部分时候是在数据科学家的工作站上进行的。但计分操作其实也可以针对规模更大的大数据平台,以自动化的方式在 Hadoop 集群的所有节点上进行。这恰恰是我们目前的努力目标。

InfoQ:机器学习需要进行大量的数据准备和操作过程,从广义上来看,这是否可以发挥 Hadoop 的优势,尤其是,能否发挥贵公司的优势?

Brust:没错,数据准备也是我们的重要方向之一,同时也是大数据技术以及人工智能技术的重要一环。如果要实现人工智能,必须首先选择一种算法并训练模型。训练模型所用的数据必须足够“干净”,通过筛选仅包含最基本的输入(特征)列,并在恰当层面上进行汇总。数据的准备过程必须完成上述所有操作。因此也需要针对原始数据中所呈现的值进行复杂计算,得到基于列的数据。Datameer 可以使用 Hadoop 做到所有这一切,并且效果很不错。因此在我们的产品中增加人工智能的相关能力就成了一种很自然的做法。

InfoQ:您所说的人工智能的“运维化”是指什么?能否从广义上,以及 SmartAI 的角度深入介绍一下相关技术细节?

Brust:正如之前所说,原本,数据计分操作是一种纯手工,量身定制的过程,需要由数据科学家在自己的工作站上进行。这一过程的输出结果对业务非常有用。然而这种方式并未在企业中形成标准,更多的只是一种手工点击按钮运行某些重要计算过程的做法。

计分过程需要自动化,需要管理,需要监视,需要在更大尺度下运行。此外还需要实现运维化。至今我们依然没有做到这一切,听起来似乎有些荒谬,但大部分情况下实际情况确实如此。通过使用 SmartAI,计分操作可以实现运维化,该产品可集成在与近年来流行的大数据分析技术相同的数据流程引擎和管理平台中。

这种方式塑造了一些全新用例,例如每天或每小时针对大数据运行流失分析模型,同时还可以完全遵守针对此类分析所设立的各种合规策略。

InfoQ:在深度学习的范围内,SmartAI 能否同时解决训练和推断有关的问题?还是主要解决了与分析有关的问题?

Brust:Datameer 并不涉及实际的训练过程,数据科学家依然需要使用自己惯用的开发环境、语言、工具,和 / 或命令行接口训练自己的模型。

模型训练完成后,即可导入 Datameer 并且可供调用,我们的库中还额外提供了超过 270 种电子表格函数。借此即可将人工智能嵌入到安全、受管控、可调度的数据流程中,将本就很强大的分析能力与人工智能结合在一起,发挥出更大威力。

InfoQ:最后,为何要选择 TensorFlow?该产品的未来规划中是否考虑过解决人工智能领域的其他问题?

Brust:目前 TensorFlow 很流行,很受关注,整个生态的发展非常良好,因此我们也选择了这个技术。人工智能领域的创新速度很快,我们都知道还有其他很多开源的深度学习框架,其中每一个都有可能迎来更大的发展势头。因此我们会密切关注整个行业,及时掌握最新变化,我们针对 TensorFlow 所采取的结构化的方法也可以用于其他库,不过目前来说,对于将 SmartAI 以及 TensorFlow 集成在 Datameer 产品中的决定,我们觉得是非常妥善的。

Datameer SmartAI 很快即将发布技术预览版。

阅读英文原文 Q&A with Andrew Brust of Datameer Regarding Big Data’s Role in AI

2017-08-06 19:001657
用户头像

发布了 283 篇内容, 共 116.8 次阅读, 收获喜欢 62 次。

关注

评论

发布
暂无评论
发现更多内容

NineData,稳定、高效的Redis数据同步解决方案

NineData

redis 数据同步 迁移数据 数据同步工具 NineData

公司大规模裁员的时间轴

HoneyMoose

大型企业数智化关键举措太难懂?这本数智平台白皮书带你秒理解

用友BIP

白皮书 数智平台 平台白皮书 数智平台白皮书

手把手实践丨基于STM32+NBIOT+华为云IOT设计智能井盖

华为云开发者联盟

云计算 华为云 华为云开发者联盟 企业号 6 月 PK 榜 智能井盖

卡牌游戏系统开发web3链游技术

薇電13242772558

web3 链游

Maven Could not find artifact com.ruoyi:ruoyi-framework:pom:3.8.5 in public

Andy

MySQL对derived table的优化处理与使用限制

GreatSQL

MySQL greatsql社区

Simple Date Format类到底为啥不是线程安全的?

华为云开发者联盟

后端 开发 华为云 华为云开发者联盟 企业号 6 月 PK 榜

阿里工程师手打的MySQL学习笔记,轻松拿捏MySQL

小小怪下士

Java MySQL 程序员

踩坑:以为是Redis缓存没想到却是Spring事务!

Java redis spring 缓存 事务

NFTScan | 05.29~06.04 NFT 市场热点汇总

NFT Research

MySQL Router高可用搭建

GreatSQL

MySQL 高可用 greatsql社区

财务共享管理体系助力企业卓越发展

用友BIP

财务共享

软件测试/测试开发丨App自动化测试学习笔记分享

测试人

程序员 软件测试 测试开发 app自动化测试

后疫情时代,国际形势向好,企业出海如何把握风险管控?

用友BIP

中企出海

GreatSQL 8.0.32-24 今日发布

GreatSQL

MySQL greatsql greatsql社区 MySQL生态

LED广告牌企业的突破点在哪?

Dylan

技术 分辨率 LED LED显示屏 led显示屏厂家

全面数据管理 DBeaverUltimate最新中文安装包

真大的脸盆

Mac 数据库管理工具 数据库管理 Mac 软件 管理数据库

什么样的企业需要建设财务共享服务中心?

用友BIP

财务共享

Ambient Mesh:Istio 数据面新模式

华为云开发者联盟

云原生 华为云 华为云开发者联盟 企业号 6 月 PK 榜

二级等保堡垒机用哪个品牌好?理由是什么?

行云管家

网络安全 等保 堡垒机 等级保护

测试同学职场成长的核心认知

老张

职场成长 认知

SpringBoot升级所踩过的坑(一)

技术小生

6 月 优质更文活动

GitHub标星137k+,超全面Java知识点总结!从10K到40K全有了

Java

5分钟在k8s上可视化搭建Kylin5

CloudEon开源

大数据 开源 云原生 kubernetes 运维 Apache Kylin

如何减少创建订单、支付等线上写场景漏测?去哪儿流量录制回放实践

TakinTalks稳定性社区

Spring Security安全框架在Spring Boot框架中的使用

Java Spring Boot spring security 权限管理

基于STM32+华为云IOT设计的智能温室大棚监控系统

DS小龙哥

6 月 优质更文活动

供应链中台管理系统开发私有化部署

薇電13242772558

供应链 管理系统

云管理用哪家云管平台厂商好?从哪些方面来看?

行云管家

云计算 云资源 云管理 云成本

带你走进大数据 | 写给小白的大数据指南

Data 探险实验室

大数据 数据分析 数据处理 数据存储 数据发展

问答Datameer公司Andrew Brust:大数据在人工智能技术中扮演的角色_大数据_Rags Srinivas_InfoQ精选文章