红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

UCloud Elasticsearch 服务 UES 应用场景分析

  • 2019-11-12
  • 本文字数:2463 字

    阅读完需:约 8 分钟

UCloud Elasticsearch服务UES应用场景分析

当一个系统业务数据量达到百亿条的时候,通常会引出一些问题:


  1. 数据怎么存储,存储到哪里

  2. 怎么保证数据安全,安全存储策略是什么

  3. 数据怎么检索,怎么做到快速响应

  4. 怎么对数据进行实时的统计分析


作为一款开源的定位于全文搜索引擎服务的 Elasticsearch,可能是这些问题下比较高效的一种解决方案。那么,Elasticsearch 的适用场景,能在什么地方发挥作用?Elasticsearch 的特点优势又是什么?总的来说,涉及搜索的业务场景可能都会有 Es 的用武之地,下面将介绍 Es 的几种常见业务场景。

日志分析

问题引入:


在复杂的计算机系统里面,一个系统可能由成千上百台服务器构成,很多系统不在一个地区机房,甚至有跨国家的;即使是在一个地区的系统,也有不同的来源,比如:操作系统、应用服务、业务逻辑等等。它们无时不刻都在产生新的各式各样的日志数据。


面对如此海量的分布在各个服务器上的日志数据,一旦我们需要去排查一些重要的信息,使用传统的方式登陆到一台台机器上查看显然有点力不从心。因此,建立一套集中式的日志管理系统,把不同来源的日志数据集中整合到一个地方再进行分析就显得尤为重要。


一套完整的集中式日志管理系统,主要包含以下几个功能:


采集-能够采集不同地区多种来源的日志数据;

传输-能够稳定地把日志数据传输到中央系统;

存储-能够安全的存储日志数据;

分析-能够提供高效的日志数据分析,并可以支持 UI 展现;

告警-能够提供监控机制,异常信息告警。


解决方案:ELK


ELK 是一套集中式日志管理方案,由 ElasticSearch + Logstash + Kibana 三个开源软件组成。UES 基于 ElasticSearch 和 Kibana 开发,使用 UES 服务的 ELK 协议栈如下图所示:



Logstash Agent 收集不同来源的 Server 产生的日志,并存放到 Elasticsearch 集群中,而 Kibana 则从 Es 集群中查询数据生成图表,加上配置 Nginx 实现简单的用户认证,再返回给浏览器端。


Elasticsearch 是一个实时的分布式搜索和分析引擎,它可以用于全文搜索、结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎,使用 Java 语言编写。


Elasticsearch 的主要特点:


  • 分布式的实时文档存储系统;

  • 分布式的实时分析搜索引擎;

  • 多数据源,文档导向,所有的对象全部是文档;

  • 高可用性,易扩展,支持集群(Cluster)、分片和复制(Shards 和 Replicas);

  • 支持插件机制;

  • restful 风格接口,支持 Json。


Logstash 是一个具有实时渠道能力的数据收集引擎,它是一个完全开源的工具,可以对你的日志进行收集、过滤,并将其存储供以后使用。Logstash 的主要特点是:几乎可以访问任何数据;可以和多种外部应用结合;支持弹性扩展。


Logstash 由三个主要部分组成:


  • Shipper-发送日志数据;

  • Broker-收集数据,缺省内置 Redis;

  • Indexer-数据写入。


Kibana 是一款基于 Apache 开源协议,使用 JavaScript 语言编写,为 Elasticsearch 提供分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找、交互数据,并生成各种维度的表图。


使用 UES 作为日志分析管理的案例分析如图所示:



从案例中可以看出使用 ELK 技术来做日志管理和传统方式的对比。结果显而易见,使用 ELK 技术能在最短时间内解决问题,在日志管理方面更加便捷高效。

全文检索

如今,无论是互联网信息还是企业内部每天产生的信息,都在以指数级增长。对于企业内部,在每天产生的大量数据尤其是非结构化数据中,如何快速查找到对企业内部有用的信息,几乎成为每个公司开始关注的重点。


Elasticsearch 在实现全文检索的过程中,首先要确定分词器,Es 默认有很多分词器。一般中文分词器使用第三方的 ik 分词器、mmsegf 分词器和 paoding 分词器,最初构建于 lucene,后来移植于 Es。目前在最新版的 Es 中,使用的是 ik 分词器。UES 已经内置安装了 ik 分词器,并且支持自定义分词词库。


当用户产生大量的文本数据时,Es 均会将其进行分词并将这些词语保存在索引中,只需输入关键词进行查询,索引就能起到作用,查找对应的相同查询词,从而实现全文检索。全文检索的架构设计如下图:



其中,Elasticsearch 服务端进行数据索引存储,Server 提供检索接口,浏览器端负责数据渲染和界面呈现。

传统数据库替代

随着 Elasticsearch 技术的发展,使得 Es 已经超越了其最初的纯搜索引擎角色,新增了数据聚合分析和可视化的特性。如果遇到千万级数量的文档需要通过关键词进行检索时,Es 可能是不错选择。当然,如果文档格式是 Json 的,也可以把 Es 当作一种 NoSQL 数据库,对数据进行多维度的分析。


Elasticsearch 是可以支持持久存储、统计等多项功能的现代搜索引擎,这种特性也决定了某些场景下 Es 可以作为主要的后端服务存储。Es 替代传统 DB 的前提是业务不对操作的事务性有特殊要求,由于 Es 的权限管理并不是特别完善,所以只把 Es 作为内部存储是可以替代传统数据库的。


还有一种场景:在一个已经运行了很长时间的复杂系统中添加检索服务。一种非常冒险的方法是重构系统以支持使用 Es,而相对安全的方法是将 Es 作为新的组件添加到现有系统中。



如图所示的 MySQL 数据库和 Es 集群存储,需要找到一种方式使得两存储之间实时同步,例如 logstash-input-jdbc 插件。


其实 Elasticsearch 的应用场景远不止这些,只有不断尝试,接触新的应用场景,我们才有机会获得更好解决方案的经验。UES 作为一款平台产品推出,旨在应用到客户广泛的业务场景中,例如:


  • 数据分析场景:分析网址、移动设备、服务器等非结构化和半结构化日志,分析传统数据库中数据,用于错误排查、应用程序监控、欺诈检测、游戏、广告等;

  • 全文搜索场景:电商、O2O、企业等行业的搜索与导航服务;

  • 实时统计分析场景:应用程序、用户点击等实时统计分析;

  • 分布式文档处理场景:对 Json 支持友好,支持地理位置查询。


UES 可以实现集群化的快速部署,极大降低人力运维成本。多种节点类型的提供、灵活的计费方式、支持业务动态扩容,此外集群丰富的预装插件和监控指标为用户集群使用功能和数据安全保驾护航。


本文转载自公众号 UCloud 技术(ID:ucloud_tech)。


原文链接:


https://mp.weixin.qq.com/s/IsmHN7RYzNjqjGywjWAX9w


2019-11-12 14:52741

评论

发布
暂无评论
发现更多内容

架构师训练营第 1 期第 11 周总结

owl

极客大学架构师训练营

阿里巴巴内部秘密培养的“Java架构师养成计划”图谱曝光,全是干货!

Java架构追梦

Java 学习 架构 面试 阿里巴巴人才培养计划

数据资产管理平台规划概要

马踏飞机747

大数据 数据治理 数据资产

话题讨论 | go、php 、java、python、cpp谁才能成为后端的主流

sinsy

Java c++ php 话题讨论 Go 语言

话题讨论 | 2020年你有什么推荐的书

soolaugust

话题讨论

基于区块链技术落地应用开发-食品溯源

13828808769

《写给大忙人看的JAVA核心技术》.pdf

田维常

电子书

教你用Python自制拼图小游戏,轻松搞定熊孩子

华为云开发者联盟

Python 游戏 拼图

花火交易所APP软件系统开发(现成)

系统开发

第七周总结

小兵

KMP —— 字符串分析算法

三钻

算法 大前端 KMP

手撸一个在线css三角形生成器

徐小夕

CSS css3 大前端 CSS小技巧

阿里云Lindorm与Intel、OSIsoft共建IT & OT超融合工业数据云

许力

数据库 大数据 IoT 工业互联网 工业物联网

云计算领域-杨明越加入InfoQ协作平台

杨明越

Seata是什么?一文了解其实现原理

vivo互联网技术

分布式 分布式事务 分布式架构

公安情报研判管控分析平台建设解决方案

t13823115967

智慧公安情报研判系统开发 智慧公安 情报研判管控分析平台

低成本快速上链 智臻链开放联盟网络正式对外开放

京东科技开发者

区块链 京东

架构师训练营第 1 期第 11 周作业

owl

极客大学架构师训练营

智慧公安情报指挥合成作战管控平台开发

t13823115967

智慧公安情报研判系统开发 智慧公安 合成作战管控平台

第十一周 安全稳定作业

蓝黑

极客大学架构师训练营

突破容量极限:TiDB 的海量数据“无感扩容”秘籍

京东科技开发者

分布式数据库 #TiDB

第十一周 安全稳定总结

蓝黑

极客大学架构师训练营

话题讨论 | 程序员摸鱼的时候都喜欢干些什么

soolaugust

话题讨论

我是程序员,我用这种方式铭记历史

kokohuang

Hexo GitHub Pages python 爬虫 中国历史 铭记历史

话题讨论 | 作为开发你是如何阅读源码的?

程序员小航

话题讨论

线程上下文切换,这些是你需要掌握的

田维常

系统上下文

什么是工作流?工作流有什么作用?怎样配置工作流程?

Marilyn

敏捷开发 工作流

探秘密码学:深入了解对称加密与密钥协商技术

京东科技开发者

网络安全 密码学

话题讨论 | 深入浅出Linux内存管理,图解物理内存和虚拟内存

程序员柠檬

话题讨论

源码深度解析 Handler 机制及应用

vivo互联网技术

android 客户端开发

App自动化《元素定位方式、元素操作、混合应用、分层设计、代码方式执行Pytest 命令》

清菡软件测试

App

UCloud Elasticsearch服务UES应用场景分析_文化 & 方法_陈晓杰_InfoQ精选文章