【ArchSummit架构师峰会】基于大模型的基础框架、中台、应用层等专题全覆盖 >>> 了解详情
写点什么

使用 Open Distro for Elasticsearch 运行 Rally

  • 2019-09-30
  • 本文字数:1808 字

    阅读完需:约 6 分钟

使用 Open Distro for Elasticsearch 运行 Rally

调整 Elasticsearch 集群的大小并进行扩展绝非易事。您需要拥有充分的数据存储空间,但您的映射和数据内容是决定磁盘上数据大小的关键。您需要为查询和更新留足容量,而您将使用的 CPU、JVM、磁盘和网络带宽大小将严重依赖您运行的查询和发送的更新数量。没有任何公式可保证它的正确:相反,您需要部署、监控和调整。


如要测试您的部署,您可以回放您自己的日志和数据,也可使用自动化的工具。Elastic 创建了适用于 Elasticsearch 的性能测试框架 Rally,您可以使用此框架为您的 Open Distro for Elasticsearch 集群生成模拟负载。通过测试,您可以确保您的集群大小适中,性能符合您期望的规范。


Rally 功能齐备,让您可以对您的 Elasticsearch 集群运行自己的测试。Rally “跑道”是指您可以运行的不同类型的基准,以便练习和测量您的工作负载。您可以添加新的跑道来扩展 Rally,从而满足自定义工作负载的需要,也可使用任何预配置的跑道。在此博文中,我们将在一个 Open Distro for Elasticsearch 实例上运行 Rally 并测量其性能。

安装

您可以参阅我们的文档以通过 RPM 安装 Open Distro for Elasticsearch,也可格局我们之前博文中的说明以使用 Docker Desktop 来安装 Open Distro for Elasticsearch。


Rally 采用 Python 代码。您需要在您计划运行 Rally 的主机上安装 Python 3 并安装 pip 3。


如要安装 Rally,请运行如下命令:


$ pip3 install esrally
复制代码


Rally 支持自定义配置,让您可以对测试许多方面进行微调,包括基准目录的位置、您希望运行的测试、要存储的取证数据水平等等。您可以参阅 Rally 文档以了解如何自定义您的测试。在本博文中,我们将从默认配置开始:


$ esrally configure
复制代码


Rally 会在您的总目录中建立 .rally 目录,然后在该目录下创建配置、数据和日志目录。

运行您的第一次测试

默认情况下,Rally 会创建一个 Elasticsearch 集群来进行测试。您已经有一个 Open Distro for Elasticsearch 集群在运行。您可以使用 --pipeline benchmark-only 命令行参数将 Rally 指向您现有的集群。


Rally 的跑道指定了测试配置。共有十二条预配置的跑道,每条跑道都配有相应的数据集。您可以使用 esrally list tracks 命令来查看这些跑道。对于您的第一个测试,您将使用 nyc_taxis 跑道。


–client-options 用于指定凭证,以便 Rally 通过安全插件进行身份验证。我使用了管理员用户的默认凭证(我未作任何更改,但最佳实践是要进行更改)。我还指定了 verify-certs:false,因为 Rally 将会拒绝演示版证书。


esrally --pipeline benchmark-only --track=nyc_taxis–challenge append-no-conflicts-index-only–target-host=http://localhost:9200–client-options=“use_ssl:true,basic_auth_user:‘admin’,basic_auth_password:‘admin’,verify_certs:false”


上述命令假设您使用基本的身份验证和 SSL 传输运行 Open Distro for Elasticsearch 的安全插件。一定要替换为您自己的用户名和密码。


Rally 将下载部分纽约市出租车和礼宾车行使记录数据集。 它将把数据发送到 Elasticsearch,然后运行对应的搜索工作负载。最后,Rally 将发布有关索引建立时间、查询延迟和集群指标的摘要。

下一步如何操作

您可以自定义 Rally 的跑道,也可创建自己的跑道了加载数据并对 Open Distro for Elasticsearch 运行查询。经过充分的测试,您可以调整好集群的实例类型以及您的工作负载的分区策略。正确设置后,Open Distro for Elasticsearch 的运行和管理将会变得更为简单。


有问题或疑问? 希望参与讨论? 您可以在我们的论坛上获得帮助并讨论 Open Distro for Elasticsearch。您可以在这里提出问题。


作者介绍:


Atri Sharma


Atri Sharma


查询处理和搜索极客,自 2012 年起开始钻研开源软件。曾研究了许多数据引擎,目前正在钻研 Elasticsearch 和 Lucene。


Jon Handler


Jon Handler (@_searchgeek) 是总部位于加利福尼亚州帕罗奥图市的 Amazon Web Services 的首席解决方案架构师。Jon 与 CloudSearch 和 Elasticsearch 团队密切合作,为想要将搜索工作负载迁移到 AWS 云的广大客户提供帮助和指导。在加入 AWS 之前,Jon 作为一名软件开发人员,曾为某个大型电子商务搜索引擎编写代码长达四年。Jon 拥有宾夕法尼亚大学的文学学士学位,以及西北大学计算机科学和人工智能理学硕士和博士学位。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/esrally-open-distro-for-elasticsearch/


2019-09-30 15:19601
用户头像

发布了 1837 篇内容, 共 94.1 次阅读, 收获喜欢 74 次。

关注

评论

发布
暂无评论
发现更多内容

Hackathon 实用指南丨快速给 TiDB 新增一个功能

PingCAP

TiDB

疫情闭关期间,读完这些“Java技术栈”,拿下阿里Offer没问题

小二,上酒上酒

Java 面试 技术栈 面试大厂

STM32L051测试 (一、使用CubeMX生成工程文件 — ST系列芯片通用)

矜辰所致

stm32 STM32CubeMX STM32L051 10月月更

开发者 J 有意思|1024 开发者嘉年华活动正式启幕

Jina AI

人工智能 开源 开发者 工程师 1024

一次性学懂Excel中的Power Query和Power Pivot使用

博文视点Broadview

Linux策略路由详解

京东科技开发者

数据库 Linux 公有云 云主机 策略路由

最全的MySQL总结,助你向阿里“开炮”(面试题+笔记+思维图)

小二,上酒上酒

MySQL 面试

WorkPlus移动门户,助力企业信息系统移动智慧互联

WorkPlus

凭借一份“面试真经pdf”,我四面字节跳动,拿下1-2级offer

小二,上酒上酒

Java 面试 字节 宝典

疫情之后,幸获内推,4面京东拿下offer(Java后台研发岗)

小二,上酒上酒

Java 面试

Wallys//IPQ8072/IPQ8074/IPQ8072A/IPQ8074A/High-capacity 802.11ax SoC for Routers, Gateways and Access Points

wallys-wifi6

IPQ8072 IPQ8074A

闭关修炼21天,“啃完”283页pdf,我终于4面拿下字节跳动offer

小二,上酒上酒

Java 字节跳动 面试 大厂面试

手写一个Redux,深入理解其原理-面试进阶

beifeng1996

React

2022云栖大会|EMAS专项嘉宾领票通道现已开启

移动研发平台EMAS

云计算 阿里云 低代码 云栖大会 行业峰会

安全专属的IM即时通讯平台,WorkPlus信创国产化解决方案

WorkPlus

LinkedList源码分析(三)

知识浅谈

linkedlist 10月月更

19道高频vue面试题解答(上)

bb_xiaxia1998

Vue

问:你是如何进行react状态管理方案选择的?

beifeng1996

React

面试官:说说React-SSR的原理

beifeng1996

React

详解数仓的锁相关参数及视图

华为云开发者联盟

数据库 后端 华为云 企业号十月 PK 榜

搞AI开发,你不得不会的PyCharm技术

华为云开发者联盟

人工智能 代码 华为云 企业号十月 PK 榜

一次磁盘占用率 100% 的排查记录

悟空聊架构

Docker 磁盘 悟空聊架构

读完这份JVM高级笔记,彻底玩转Java虚拟机,面试再也不用“虚”

小二,上酒上酒

Java 面试 阿里 虚拟机 大厂面试

详解ROMA Connect API 流控实现技术

华为云开发者联盟

云计算 后端 开发 华为云 企业号十月 PK 榜

NFT铸造摸了个鱼链游系统开发源码(原生开发)

开发微hkkf5566

实时营销引擎在vivo营销自动化中的实践 | 引擎篇04

vivo互联网技术

服务器 架构设计 引擎

使用 SAP BTP 创建一个 Spring Boot Java 应用

Jerry Wang

云原生 SAP Netweaver 10月月更 btp

632页!我熬夜读完这份“高分宝典”,竟4面拿下字节跳动offer

小二,上酒上酒

Java 面试

渣本全力以赴33天,四面阿里妈妈(淘宝联盟),拿下实习岗offer

小二,上酒上酒

学习 面试 阿里 编程开发

全球第一!新一代云原生实时数仓 SelectDB 登顶 ClickBench 榜单!

SelectDB

性能测试 Clickhouse 分析型数据库 数仓 SelectDB

仅靠七个步骤,4面通过拿offer,终“跳进”字节跳动

小二,上酒上酒

面试 面试题

使用 Open Distro for Elasticsearch 运行 Rally_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章