InfoQ Geekathon 大模型技术应用创新大赛 了解详情
写点什么

Apache Eagle 毕业成为顶级项目

  • 2017-02-03
  • 本文字数:1011 字

    阅读完需:约 3 分钟

Apache Eagle 是一个识别大数据平台上的安全和性能问题的开源解决方案,2017 年 1 月 10 日,Apache Eagle 毕业成为 Apache 顶级项目。

Eagle 首先由 eBay 在 2015 年 10 月开源,它主要用来即时监测敏感数据访问和恶意活动,并及时采取行动。除了数据活动管理,Eagle 也可以用于节点异常检测, 集群和作业性能分析。

作业性能分析是通过处理 YARN 应用日志和对 YARN 中所有运行的作业进行快照分析来完成的。Eagle 可以检测单个作业趋势、数据偏斜问题、故障原因和考虑所有运行的作业情况下评估集群的整体性能。Eagle 通过计算每个节点的任务失败率来监测行为异常和需要关注的节点。至于集群性能,Eagle 通过计算每个 YARN 作业占用的资源并把它与横向服务的指标(比如 HDFS namenode)来帮助识别整体集群缓慢的原因。

Apache Eagle 依赖于 Apache Storm 来进行数据活动和操作日志的流处理,并且可以执行基于策略的检测和报警。它提供多个 API:作为基于 Storm API 上的一层抽象的流式处理 API 和 policy engine provider API 的抽象,它将 WSO2 的开源 Siddhi CEP engine 作为第一类对象。Siddhi CEP engine 支持报警规则的热部署,并且警报可以使用属性过滤和基于窗口的规则(例如,在 10 分钟内三次以上的访问)来定义。

Apache Eagle 中还包括一个基于机器学习的 policy provider。它从过去的用户行为中学习,来将数据访问分类为异常或者正常。这个机器学习 policy provider 评估在 Apache Spark 框架中离线训练的模型。Eagle 用两种机器学习方法计算用户配置信息:一个方法是密度估计,用来计算每个用户/ 活动的高斯概率密度和一个阈值,另一个方法是特征值分解,通过减少用户和活动的特征维度来提取其行为模式。

数据集成是使用 Apache Kafka 通过 logstash forwarder 代理或通过 log4j kafka appender 来实现的。来自多个 Hadoop 守护进程(例如,namenode,datanode 等)的日志条目被反馈到 Kafka 并由 Storm 处理。Eagle 支持将数据资产分类为多个灵敏度类型。

Eagle 支持使用 Apache HBase 和关系数据库持久化警报。警报可通过电子邮件、Kafka 或存储在 Eagle 支持的存储中进行通知。你也可以开发自己的警报通知插件

查看英文原文: Apache Eagle, Originally from eBay, Graduates to top-level project


感谢王纯超对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

活动推荐:

2023年9月3-5日,「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题,策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229(微信同手机号)。

2017-02-03 18:006858

评论

发布
暂无评论
发现更多内容

平安银行携手StarRocks荣获2022金融业数字化转型突出贡献奖

StarRocks

数据库 金融

java程序员培训学习后好找工作

小谷哥

大数据培训和自学哪个适合零基础

小谷哥

如何在15分钟内,度量 DORA 指标?

Apache Devlake

Apache 大数据 开源 研发效能 DOAR

华为云弹性负载均衡服务,赋能现代企业加速发展

i生活i科技

ELB

性能测试技术笔记(二):如何准备测试环境和数据

老张

性能测试

爱奇艺:基于龙蜥与 Koordinator 在离线混部的实践解析 | 龙蜥技术

阿里巴巴云原生

阿里云 云原生 Koordinator

云原生技术在离线交付场景中的实践

北京好雨科技有限公司

Kubernetes 云原生交付 离线交付

阿里云 ACK One 多集群管理再升级:GitOps 多集群持续集成,统一报警管理

阿里巴巴云原生

阿里云 云原生 容器服务

Wallys/QCN9074 WiFi 6E Card OpenWRT, IPQ6010,802.11ax/Support:QUECTEL RM500Q-GL/QCN9074 11ax 4x4 6G M.2

wallysmeng

架构训练营模块三作业

gigifrog

架构训练营

下载速度慢怎么办?使用华为云CDN,让网速更快更稳

i生活i科技

CDN

一些Web安全漏洞

穿过生命散发芬芳

HTTP 1月月更

模块四作业

张贺

架构训练营

flutter系列之:flutter中listview的高级用法

程序那些事

flutter 程序那些事

创业邦2022中国未来独角兽100强揭晓:总估值超3000亿元,累计融资总额达685亿元;红杉中国、顺为资本成年度最佳捕手

创业邦

华为云CDN,多场景网络加速服务,为企业发展强势赋能

i生活i科技

CDN

市面上到底有没有免费的云渲染平台?

Renderbus瑞云渲染农场

云渲染 云渲染平台 免费云渲染平台

2023-01-03:超过5名学生的课。编写一个SQL查询来报告 至少有5个学生 的所有班级,返回结果不限顺序。请问sql语句如何写? +---------+ | class | +-----

福大大架构师每日一题

数据库 sql 福大大

怎么入门大数据开发技术

小谷哥

web前端技术培训后怎么不断提高自己

小谷哥

RelativeLayout(相对布局)

向阳逐梦

Android Studio padding margin

基于 EventBridge API Destination 构建 SaaS 集成实践方案

阿里巴巴云原生

阿里云 云原生 EventBridge

零基础怎么培训学习前端开发技术

小谷哥

云存储生态构建的技术基因和最佳实践

云布道师

阿里云 云存储

网络拥堵?上网体验差,还不赶紧看看华为云CDN!

i生活i科技

CDN

SpringBoot 自动装配原理,一文掌握!

程序员小毕

源码 程序员 面试 springboot 自动装配

下载速度不尽人意,华为云CDN来助力,尽享高速体验!

i生活i科技

CDN

为什么说IO密集型业务,线程数是CPU数的2倍?

Java永远的神

程序员 程序人生 后端 cpu io

再快一点?动态内容如何加速

菜农曰

程序员 互联网

外包学生管理系统详细架构设计文档

Geek_7d539e

  • 扫码添加小助手
    领取最新资料包
Apache Eagle毕业成为顶级项目_安全_Alexandre Rodrigues_InfoQ精选文章