翻译|尚剑
审校|王纯超
Apache Eagle是一个识别大数据平台上的安全和性能问题的开源解决方案,2017年1月10日,Apache Eagle毕业成为Apache顶级项目。Eagle首先由eBay在2015年10月开源,它主要用来即时监测敏感数据访问和恶意活动,并及时采取行动。
Apache Eagle是一个识别大数据平台上的安全和性能问题的开源解决方案,2017年1月10日,Apache Eagle毕业成为Apache顶级项目。
Eagle首先由eBay在2015年10月开源,它主要用来即时监测敏感数据访问和恶意活动,并及时采取行动。除了数据活动管理,Eagle也可以用于节点异常检测,集群和作业性能分析。
作业性能分析是通过处理YARN应用日志和对YARN中所有运行的作业进行快照分析来完成的。Eagle可以检测单个作业趋势、数据偏斜问题、故障原因和考虑所有运行的作业情况下评估集群的整体性能。Eagle通过计算每个节点的任务失败率来监测行为异常和需要关注的节点。至于集群性能,Eagle通过计算每个YARN作业占用的资源并把它与横向服务的指标(比如HDFS namenode)来帮助识别整体集群缓慢的原因。
Apache Eagle依赖于Apache Storm来进行数据活动和操作日志的流处理,并且可以执行基于策略的检测和报警。它提供多个API:作为基于Storm API上的一层抽象的流式处理API和policy engine provider API的抽象,它将WSO2的开源Siddhi CEP engine作为第一类对象。Siddhi CEP engine支持报警规则的热部署,并且警报可以使用属性过滤和基于窗口的规则(例如,在10分钟内三次以上的访问)来定义。
Apache Eagle中还包括一个基于机器学习的policy provider。它从过去的用户行为中学习,来将数据访问分类为异常或者正常。这个机器学习policy provider评估在Apache Spark框架中离线训练的模型。Eagle用两种机器学习方法来计算用户配置信息:一个方法是密度估计,用来计算每个用户/活动的高斯概率密度和一个阈值,另一个方法是特征值分解,通过减少用户和活动的特征维度来提取其行为模式。
数据集成是使用Apache Kafka通过logstash forwarder 代理或通过log4j kafka appender来实现的。来自多个Hadoop守护进程(例如,namenode,datanode等)的日志条目被反馈到Kafka并由Storm处理。Eagle支持将数据资产分类为多个灵敏度类型。
Eagle支持使用Apache HBase和关系数据库持久化警报。警报可通过电子邮件、Kafka或存储在Eagle支持的存储中进行通知。你也可以开发自己的警报通知插件。
返回搜狐,查看更多
责任编辑:
声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。