“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

Honeycomb - 调试复杂系统的工具

  • 2016-11-07
  • 本文字数:1660 字

    阅读完需:约 5 分钟

Honeycomb 是用于观察和关联分布式系统中各事件的工具。它的方法与现有工具(例如 Zipkin )不同。Honeycomb 由原有的单一请求跟踪模型转变为更自由形式的模型,能够跨层 (layers)、跨维度 (dimensions) 地收集和查询数据。

Honeycomb 与 Zipkin 这样的软件有什么区别?Zipkin 是基于 Google Dapper paper 的分布式跟踪系统,由Twitter 编写和开放源代码。InfoQ 近日与Honeycomb 联合创始人Charity Majors 联系,了解到该产品的更多信息。Majors 指出,与使用全球唯一的UUID 进行请求跟踪不同,“对大家来说通常更有用的是某种用户ID 或应用程序ID,以及其他类型的ID。这些请求ID 便于将具有您可能想要计算或聚合的共同特征进行分组。”

这在实践中意味着什么?基于如Zipkin 之类的跟踪工具的请求,假设每个请求都附有唯一的ID。从请求进入系统的时间起,ID 通过各种子系统调用(可用于微服务)来传递,而子系统调用是由初始调用的结果触发的。如果在每个步骤都记录下此ID,并且设定中心区域来聚合和索引这些日志,那么在请求ID 已知的前提下,在系统中搜索和跟踪特定请求将变得很容易。这种日志聚合器的一个典型例子是ELK( Elasticsearch/Logstash/Kibana )。

Honeycomb 打破了这种模式,尽量在每个级别分别获取数据(如负载均衡器、微服务和数据库),标记数据,便于用户今后对这些数据进行混合匹配(mix-an-match)和即时查询 (ad-hoc queries)。Majors 解释说,Honeycomb 采用这种方法是因为跟踪本身给你留下一个亟待解决的问题。这个问题就是“哪些是有代表性,值得首先研究的请求”。一旦用 Honeycomb 展示数据,用户可以跨系统、跨时间,将不同层的数据联系整合,进行运算,从而理解它的性能。例如,跨越多个系统的请求响应时间的增加可能是由于来自多个因素(包括时间)的集体效应。这不利于请求跟踪,因为请求一般代表的是给定时间段内相关事件的单个线程。

数据一般可以通过 API 调用发送到 Honeycomb。以下示例表示如何用 API 调用来记录 Web 请求数据:

复制代码
curl https://api.honeycomb.io/1/events/Quickstart -X POST \
-H "X-Honeycomb-Team: YOUR_WRITE_KEY" \
-d '{"status":200,"path":"/docs/","latency_ms":13.1,"cached":false}'

在这个例子里, “-d”参数可用于获取 JSON 对象。这个 JSON 对象具有便于以后查询的任何应用程序特定信息。数据收集为一系列事件,对于其中每个事件都应该进行跟踪。这些事件可以捆绑成名为“数据集”的单个实体。Honeycomb 可以通过所谓的“连接器”与应用程序集成。连接器是从特定软件中提取数据并将其发送到Honeycomb 的适配器。用户还可以使用 SDK 以及名为 honeytail 的工具将数据从现有日志集成到 Honeycomb。

为了:给正在收集的数据添加上下文,Honeycomb 还标记各事件是由谁触发的:是操作员还是像计划任务 cron 之类的什么(部署、脚本或一次性动作)。这些操作垂直排列,上面附加了一些信息,例如谁运行脚本以及指向部署代码的链接。这有点类似于 Etsy 的运营团队使用 Grap hite 的情况(但 Graphite 缺乏相应的背景信息)。

Honeycomb 收集了大量数据,那它是如何处理大规模查询的呢?Majors 说,由于接近 100% 用户发出的查询都是关于最近一两个星期的,他们现在正专注于近期的调试任务,以便于采用有效的抽样保留技巧。

为了处理大量的数据,Honeycomb 使用自己的列存储:

Majors 说,我们开始构建 Honeycomb 时研究了大量现有的解决方案,但没有一个能完美解决问题。我们最终发现,绝大多数的预构建解决方案都需要对功能性进行权衡,在那些我们不需要的功能(例如事务)和牺牲那些我们认为至关重要的功能(例如能够快速访问原始输入事件)之间取舍。

Honeycomb 目前还不支持与其他告警系统集成,如 Nagios、Zabbix、PagerDuty。目前只有受邀请者可以注册该服务。

查看英文原文 Honeycomb - A Tool for Debugging Complex Systems


感谢冬雨对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-11-07 18:002369
用户头像

发布了 22 篇内容, 共 48096 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

超简单!Redis中的持久化策略汇总

知识浅谈

8月月更

深势科技创始人&首席科学家张林峰:AI+分子模拟,赋能药物发现新源头

阿里云弹性计算

AI gpu 药物研究 分子模拟

详解GaussDB(DWS) 资源监控

华为云开发者联盟

数据库 后端

企业数据现状分析:为什么需要实时数据?如何高效挖掘实时数据价值?

tapdata

Tapdata

Bytebase 部署体验总结 & 评选结果

Bytebase

数据库 体验官

大数据培训可以成为优秀工程师吗?

小谷哥

软件,英特尔人工智能的未来重点布局

科技之家

渗透攻防Web篇-深入浅出SQL注入

京东科技开发者

sql 安全 mybatis Web H5

活动报名:Tapdata 开源教程之异构数据库模型推演

tapdata

Tapdata 开源社区

转转客户端持续交付—鲁班的构建管理

转转技术团队

CI/CD

阿里云视觉智能开放平台产品上新——能力前瞻

夏夜许游

人工智能 阿里云 元宇宙 图像分割 阿里云视觉智能开放平台

零基础学员如何参加大数据培训?

小谷哥

应用日志采集是什么意思?批量采集应用日志软件用哪个?怎么操作?

行云管家

日志采集 IT运维 行云管家 应用日志

我吐了!一个奇葩的线上问题,导致我排查了一天

Java永远的神

Java 程序员 面试 程序人生 后端

nft交易平台开发流程

开源直播系统源码

NFT 数字藏品 数字藏品系统

项目经理的职能在Scrum框架下没有完全消失

ShineScrum捷行

Scrum 敏捷 项目经理

最长字符串链,什么是“词链”?

掘金安东尼

算法 前端 8月月更

流程挖掘的价值:头部制造业千万级增长的底牌

望繁信科技

HarmonyOS开发者创新大赛总决赛结果公布

HarmonyOS开发者

HarmonyOS

阿里云计算巢软件免费试用中心正式上线,企业用户可免费试用1个月

阿里云弹性计算

计算巢

设备健康管理“悬丝诊脉”之能源行业浆液循环泵

PreMaint

设备健康管理 设备预测性维护 设备状态监测

动态线程池的9个应用场景你见过几个?

程序员小毕

Java 程序员 面试 程序人生 线程池

运维审计是什么意思?有什么作用?用什么软件好?

行云管家

运维 审计 IT运维 运维审计

什么是“根创新”?从公交支付用上国产数据库说起

OceanBase 数据库

数字化转型新CP:云原生+边缘计算 实践分享

York

容器 云原生 数字化转型 边缘计算 边云协同

🔛报名启动!「数智创新行」系列城市站沙龙首站开启

云桌派

视频结构化——原子能力解析

夏夜许游

物体检测 车牌识别 视频结构化 人体检测

C/CPP基础练习题(一)运算符,判断

CtrlX

c c++ C# 8月月更

HMS Core Discovery第17期回顾|音随我动,秒变音色造型师

HMS Core

音频技术

优秀的程序员不能只懂技术

LigaAI

程序人生 敏捷开发 自我提升 职场发展 企业号九月金秋榜

了解“预训练-微调”,看这一篇就够了

博文视点Broadview

Honeycomb - 调试复杂系统的工具_DevOps & 平台工程_Hrishikesh Barua_InfoQ精选文章