相关文章推荐
爱吹牛的小马驹  ·  Parallels Desktopにて - ...·  3 月前    · 
酒量小的石榴  ·  刘汉俊《故乡的花开》-赤壁市政府网·  3 月前    · 
胡子拉碴的大葱  ·  首套房“认贷不认房”普遍落实 七折利率可望不 ...·  7 月前    · 
激动的盒饭  ·  温州森马协和好吗 - 抖音·  1 年前    · 
直爽的烤红薯  ·  Vicineko原神视频 - 百度·  2 年前    · 
Code  ›  如何高逼格的给同事做 Elasticsearch 技术分享【附:53页ES演讲PPT】开发者社区
logstash 关系型数据库 大数据 elasticsearch
https://cloud.tencent.com/developer/article/1551762
打盹的脆皮肠
2 年前
作者头像
搜云库
0 篇文章

如何高逼格的给同事做 Elasticsearch 技术分享【附:53页ES演讲PPT】

前往专栏
腾讯云
开发者社区
文档 意见反馈 控制台
首页
学习
活动
专区
工具
TVP
文章/答案/技术大牛
发布
首页
学习
活动
专区
工具
TVP
返回腾讯云官网
社区首页 > 专栏 > 搜云库 > 如何高逼格的给同事做 Elasticsearch 技术分享【附:53页ES演讲PPT】

如何高逼格的给同事做 Elasticsearch 技术分享【附:53页ES演讲PPT】

作者头像
搜云库
发布 于 2019-12-10 17:52:53
2.4K 0
发布 于 2019-12-10 17:52:53
举报

如果你有机会需要在公司内部,做一次Elasticsearch 技术应用分享。如何才能讲的逼格高,又接地气,那么建议从以下几个方面展开,大家有好的想法,也欢迎留言交流。

1、可视化展示ELK效果

如果条件允许,demo的内容是:通过logstash 同步日志或数据库(oracle、mysql)表的数据到 Elasticsearch,然后通过kibana进行可视化。

1、通过Canvas对数据进行可视化布局与展现,可以实现非常酷炫的大屏展示效果。 2、展示实时数据的数据量。 3、展示你定的几个维度的数据信息。

这么切入的目的:很直观,很明显,很接地气。用到ELK技术栈的内容,有带动性,让参与的同事不犯困且很容易让大家对它产生兴趣。

2、 Elk stack大家族简介

考虑到不同受众关注点不同。结合业务的数据的特点,从输入、中间处理、存储&检索、分析等全数据流环节展开。

2.1 输入

Elastic 支持的输入包含但不限于:

1、日志类数据:类log4j.log,apache log等,可借助 beats或logstash同步 2、关系型数据库:mysql oracle pgsql等 3、非关系型数据库:mongodb redis等 4、实时数据流:flink spark kafka hdfs等 5、大数据:hadoop hdfs等

此处的不同数据的导入,Lostash有丰富的input/output插件,支持N多不同数据源接入,估计同事也会眼前一亮。

2.2 中间处理ETL

基础数据很可能是异构的数据,中间的ETL非常重要。 logstash filter、elasticsearch ingest 都具备ETL功能。

2.3 存储&检索

基于合理的数据建模,在Elastic落地存储,Elastic提供全文检索、数据聚合等。

2.4 分析

强调一下,kibana的可视化和监控功能。

2.5 ELKB认知

Elastic Stack数据平台由Logstash、Beats、ElasticSearch和Kibana四大核心产品组成,在数据摄取、存储计算分析及数据可视化方面有着无可比拟的优势。

1、E = Elasticsearch,在存储、计算和分析方面,ElasticSearch允许执行和合并多种类型的搜索,解决不断涌现的各种用例,并具有极高的可用性及容错性,充分保障集群安全。

2、L = Logstash, Logstash 是开源的服务器端数据处理管道,可同时从多个来源采集、转换数据,并将数据发送到存储库中。

3、K = Kibana,Kibana作为用户界面的核心,集成了丰富的可视化工具、界面交互开发工具和管理工具,帮助开发人员将数据轻松分享给任何人,甚至还能通过机器学习来监测数据中的隐藏异常并追溯其来源。

4、B = Beats,Beats作为轻量级的数据搬运工,集合了多种单一用途数据采集器,将数据发送给Logstash或ElasticSearch,其可扩展的框架及丰富的预置采集器将使工作事半功倍。

以上,主要从大而全的维度,讲解ELK,给大家带来全景认知。

以这四大核心产品为基础构建的Elastic数据平台实现了数据实时性、相关性及扩展性的完美结合,不仅可以处理各种数据,还能深入挖掘数据的内在关联并迅速呈现,彻底解决企业的大数据实时处理难题。

3、 Elasticsearch 是什么?

展示的过程中:可以通过kibana的dsl进行展开的讲解。注意例子:可以提前准备好,规划好时间,不用现场敲代码。

此时可以借助head插件或者kibama-dev讲解。

3.1 Elasticsearch的组成

如果是集群部署的更好。 讲解内容包括:

  • 集群、
  • 索引、
  • 分片、
  • 副本、
  • 分段、
  • 倒排索引。
  • ES的底层是lucene等。

3.2 Elasticsearch分布式可扩展的特性

强调Elasticsearch可以支持PB级别甚至更高级别数据量的存储。

3.3 强调Elasticsearch特点

1、简单的restful api,天生的兼容多语言开发。 2、分布式的实时文件存储,每个字段都被索引且可用于搜索。 3、分布式的实时分析搜索引擎,海量数据下近实时秒级响应。 4、易扩展,处理PB级结构化或非结构化数据。

4、 Elasticsearch 能做什么?

4.1 全文检索等

其实也可以类比一下mysql,强调一下:关系型数据库一些检索是做不到的。 对比的目的:因为大家都熟悉关系型数据库,这样能够加深理解。

也可以类比下Google,百度等传统的搜索引擎。告诉同事,其实他们可以做的功能我们都可以做。比如:全文检索,高亮,分页,统计聚合,高级检索等。

检索的分类:

1、精确匹配。 2、模糊检索。 3、正则检索。 4、强调全文检索。强调他的快。基于倒排索引实现。 5、等等。

检索类型可以画一个脑图。 其实可以,举个例子。演示一下最好。

4.2 聚合分析

这里也可以举一下例子。 比如:对比一下mycle的group by,limit等功能点讲解。 聚合的分类很多,可以抽几个进行讲解。

4.3 应用场景

1、记录和日志分析 2、采集和组合公共数据

 
推荐文章
爱吹牛的小马驹  ·  Parallels Desktopにて - Microsoft Q&A
3 月前
酒量小的石榴  ·  刘汉俊《故乡的花开》-赤壁市政府网
3 月前
胡子拉碴的大葱  ·  首套房“认贷不认房”普遍落实 七折利率可望不可及--时政--人民网
7 月前
激动的盒饭  ·  温州森马协和好吗 - 抖音
1 年前
直爽的烤红薯  ·  Vicineko原神视频 - 百度
2 年前
今天看啥   ·   Py中国   ·   codingpro   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
Code - 代码工具平台
© 2024 ~ 沪ICP备11025650号