50万奖金+官方证书,深圳国际金融科技大赛正式启动,点击报名 了解详情
写点什么

云智慧 CEO:APM 技术难点在于前端数据采集与后端数据分析的结合

  • 2015-04-14
  • 本文字数:2193 字

    阅读完需:约 7 分钟

应用性能管理(APM)可能对于大多数国内企业来说,还比较陌生。企业用户利用 APM 可以对自身的关键业务应用进行监测、告警与优化,并不断改善业务可靠性与稳定性,提升核心竞争力。然而在研发出一款成功的 APM 产品背后,实际上也有较高的技术要求,更需要跨过很多技术难点。云智慧,作为一家专注于 APM 业务的 SaaS 服务供应商,从创立伊始就开始不断发挥着自身在技术上的基因优势,而这一点,从活跃在产品一线领导技术团队研发产品的云智慧 CEO 殷晋身上就能不难看出。为了进一步了解云智慧的技术优势与立足之本,以及国内 APM 市场形势与前景,InfoQ 特意邀请了殷晋接受专访,谈一谈云智慧及 APM 背后的那些事。

InfoQ:请您从云智慧研发经验的角度,谈一谈 APM 现在的技术难点在于哪些方面?

殷晋:我认为 APM 的技术难点主要在于两方面。

第一个方面在于前端数据采集。在各种的语言及其运行环境中采集用户的数据,还需要尽量不影响用户系统本身的性能,这实际上难度是非常大的。各种语言有不同特点,即使是比较单一的 Java 语言,就有 Java6、Java7、Java8 等各种不同的版本与运行环境,而 PHP 则又是另一种模式,而且还要考虑各种运行时容器、数据库等。因此从不同的代码里将用户性能数据提取出来的工作就会变得非常复杂,再加上用户最关心的问题——抓取数据时对系统运行有什么影响?所以算法的优化也会变得非常重要。

第二方面是后台的大数据分析。现在很多开源的大数据框架,比如 Spark、Storm、ElasticSearch、还有 Hadoop,都可以做离线的数据分析,无非是效率上的差异。但是如果涉及到实时的数据分析的话就会变得非常困难,尤其是在 APM 领域,还必须要考虑到用户体验等因素。

InfoQ:像你刚才说的,APM 的技术难点在于前端的数据采集与后端的数据分析上,那么如果把这些都放在云上的话,又会是有什么不一样呢?

殷晋:如果针对客户单独开发一款软件或是售卖许可证的话,实际产生的业务量都不会很大。但是当我们的监控服务迁移到云端,每天的数据量达到 TB 级,甚至更多的时候,存储就会成为一个很大问题。这些海量的数据进行存储之后,还要进行处理,并生成实时的分析报告。另外还要把用户的数据无损的存入后端,而当用户规模比较大的时候,采集来自不同用户的数据时如何有序的进行区分整理,这些都是比较严峻的新挑战。

InfoQ:可否详细的谈一谈,云智慧这边做了什么样的大数据实践?遇到了哪些问题?

殷晋:云智慧的底层系统实际是在大数据处理平台的基础之上也做了一些个性化的修改。比如存储用到了 Hive Database,还有个性化修改后的 Elasticsearc,底层用分布式处理这种模式也做了很多水平扩展。在前端采用了 Kafka 等等以接受不同来源、不同协议的数据,云智慧利用这些不同的技术构建了一套完整的框架。

当前的瓶颈,主要还是在于实时的大数据处理。云智慧在底层的数据结构、数据存储方面做了很多工作。比如用户可以使用一个叫做 SmartView 的工具, 从不同角度来看数据,也可以自己制定一个规则,然后去用一种近似于 SQL 的语言来查询实时的数据,并生成实时的分析报表。

InfoQ:对云服务来说,安全一直是一个固定话题,当然也是用户最关心的问题。那么云智慧在保护用户隐私数据这方面做了什么样的措施呢?

殷晋:保护用户隐私数据可以为两方面内容,一是数据的独立性,二是数据的安全性。数据独立性,是指用户不能看到其他用户的数据。因为 SaaS 是多租户模式的,因此云智慧从系统架构设计上做了一些保护措施,比如对用户数据进行了逻辑上的分区,甚至是做物理上的分区。而在数据安全性方面,云智慧同样也做了很多专门的部署,比如针对跨站脚本攻击,或者是一些 SQL 注入攻击,都采取了相应的防护措施,防止用户数据泄露。另外,云智慧还会定期测试自身系统的安全性,不断对系统漏洞或设计缺陷进行完善。

InfoQ:您认为今年国内的 APM 市场会有新的变化吗?或者说有新的增长点出现?

殷晋:今年无论是对于云智慧还是其他 APM 同行来说都将是非常好的一年。首先要提的就是云计算发展的推动作用。云智慧一直在做 SaaS,从用户量的增长,以及收入的各方面增长,都能明显感觉到用户对于 SaaS 的接受程度正变得越来越高。其次,国内企业现在所有的业务都在强调互联网 + 的概念,因此要想把业务都搬到互联网上的话,就必须要依托强大的 IT 系统,这时整个 IT 系统对于企业业务重要性就会提高,由此一来很多企业客户就能非常清醒的认识到,APM 能够让企业的业务运行的更好,从而开始接受 APM 产品。

InfoQ:前一段时间好像有新闻报道出来国外老牌厂商 Compuware 正在把 APM 业务撤出中国,你觉得这对整个国内 APM 市场有什么意义?

殷晋:实际上我认为,Compuware 并没有退出中国,也不会退出中国,只是可能正处在一个比较艰难的转型期,在对自身的业务进行调整,同时这也证明了 APM 对于企业用户的重要性。而对于国内的 APM 厂商来说,在短期内肯定会出现更多的机会去抢占市场份额或是争取到更多的用户,特别是目前国内 APM 市场正处于一个上升期。另一方面,国内厂商也将有机会吸引来一些比较高端的技术人才。

但是从长远的角度来看,Compuware 的转型对于国内市场来说也不完全是一件好事。许多国内企业在 IT 方面都依赖于 IOE 或是其他国外的厂商,如果未来一段时间内国产化进程仍然没有取得较大的进展的话,等到 Compuware 完成转型,以更加强大的实力卷土重来的话,那么国内的 APM 厂商势必将面临更加严峻的挑战。

2015-04-14 01:342535

评论

发布
暂无评论
发现更多内容

用javascript分类刷leetcode3.动态规划(图文视频讲解)

js2030code

JavaScript LeetCode

Redis6.0新特性、剖析线程模型(单线程和多线程)

C++后台开发

redis 多线程 后端开发 单线程 C++开发

扒去Spring事件监听机制的外衣,竟然是观察者模式

程序知音

Java spring ssm Java后端 后端技术

以用户为导向,vivo打造安全新范式

极客天地

8分钟带你学会SpringBoot整合Redis来实现缓存技术

好程序员IT教育

redis Spring Boot

2 分钟,教你用 Serverless 每天给女朋友自动发土味情话

阿里巴巴云原生

阿里云 Serverless 云原生

聚焦年轻消费人群 百草味入围最受“Z世代”喜爱品牌TOP10

E科讯

大数据 Hadoop 的五大优势

千锋IT教育

Spring Boot框架下实现Excel服务端导入导出

葡萄城技术团队

前端 Excel 控件

鼎茂科技获得阿里云首批产品生态集成认证,携手阿里云共建新合作

阿里巴巴云原生

阿里云 云原生 加速器 企业招募

技术解读倚天 ECS 实例——Arm 芯片的 Python-AI 算力优化 | 龙蜥技术

OpenAnolis小助手

Python AI arm ECS sig

数据分析er看过来,五款工具有你需要的

葡萄城技术团队

数据分析 前端 数据可视化

云原生网关的可观测性体系实践

阿里巴巴云原生

阿里云 云原生 云原生微服务

Kotlin变量的空安全(Null Safety)

子不语Any

android kotlin 11月月更

【倒计时4天】杭州专场-单元测试产品体验样板间,等你加入!

TRaaS

数字化时代,企业需要怎样的数据中台?报名元年微课堂,一起来探索

元年技术洞察

数据中台

Wallys/Introduction of DR9074 series network card/qcn9074/qcn9072/qcn9024/industrial M.2 card

wallysSK

QCN9074 QCN9024 QCN9072

一路同行:开发者与华为云的2022

脑极体

居民消费价格指数变化新鲜出炉,这类商品同比涨幅最大

前嗅大数据

数据分析 数据采集 居民消费 居民消费指数

RocketMQ 5.0 API 与 SDK 的演进

阿里巴巴云原生

阿里云 RocketMQ 云原生

实践分享:30分钟在电脑端运行小程序

FN0

桌面应用 桌面应用开发

JavaScript刷LeetCode拿offer-树的遍历

js2030code

JavaScript LeetCode

首批!腾讯云通过金融开源技术服务能力评估

腾源会

开源

10月月更获奖名单出炉啦!快来看看你上榜没有!

InfoQ写作社区官方

热门活动

Docgeni 2.0 发布,开启自动化

PingCode研发中心

【Redis】Redis AOF持久化

石臻臻的杂货铺

redis 11月月更

vue和react的区别有哪些,哪个好

千锋IT教育

10 分钟部署一个 API 工具

Scar 

开源 Serverless 接口测试 Vercel

关于Web3.0,你了解多少?个推与您畅聊下一代互联网

个推

互联网 元宇宙 Web3.0

java企业级开发中常见的注入方式

千锋IT教育

线性稳压电源和开关电源,到底有什么区别?

元器件秋姐

电源电路 元器件采购 元器件电商 元器件知识 华秋商城

云智慧CEO:APM技术难点在于前端数据采集与后端数据分析的结合_安全_刘羽飞_InfoQ精选文章