不断迭代,严苛细节,最终性能如何满足? 基于ELK的大数据平台实践分享

  • 时间:
  • 浏览:8
  • 来源:大发彩神8下载最新版—大发快三官网大发彩神

主要有一俩个 使用场景:查询聚合;大屏分析,预测告警;网络指标,业务指标安全指标。

网络业务安全部时会基于某些不同的团队,定制个性化的指标,进行某些对比分析。



上图为基于不同业务做的存储规划。

上图为运维前后对比效果图。左边是运维也不,右边是运维也不。升级后,有效减少了cpu wait和磁盘读,降低了系统负载,有效提升了查询和写入性能。

在2018年Elastic Meetup 南京交流会中,来自云利来科技的涂海波为现场的听众带来了题为《南京云利来基于ELK的大数据平台》的精彩分享。在本次分享中,他首先进行了公司简介,假如有一天介绍了数据分类,包括数据分类整理及数据类型等;假如有一天重点阐述了运维之路,最后进行了告警分析。

数十款阿里云产品限时折扣中,赶快点击这里,领券结速云上实践吧

直播视频请点击PPT下载请点击以下内容根据现场分享分类整理而成。



在使用ELK的整个过程中,亲戚让让让我们 使用过Vmware、Docker,跟美国的第三方公司的某些相互企业合作。亲戚让让让我们 自己用的最多的是单节点单实例和单节点双实例。基本是用于功能测试小公司某些测试部署。

用Sql语法做某些包装、抽象,告警模型基于从工作日结速的迭代、同比环比、平均值及标准差,基线学习。

亲戚让让让我们 发现什么的问题,处理什么的问题,还要不停的去思考。不断迭代,严苛细节,最终性能否是是满足?否是是可接受?有有哪些全部时会还要思考的什么的问题。

上图做了一俩个 按需隔离,分表分级分组。



上图为在单个索引上做的测试。也不做了某些积压,还还能能 发现索引的带宽是上升的。单个索引最高带宽从也不的400000条每秒提升到140000条记录每秒,平均20万条每秒。聚合查询性能提升1倍。

亲戚让让让我们 做的冷热分离,结速采用的是flashcache模式,每台物理机里边都配备了一俩个 SSD的小盘,主也不 为了抵消传统的机械式硬盘寻到的一俩个 LPS。LPS不能自己,延迟比较高,也不 分布式集群每一块都配备一俩个 小盘。在你你你你这个 模式下,磁盘IO连续小块读,负载高,IOwait高,分析发现处在抖动。采用单机双实例冷热分离模式,充分利用1.6TB的SSD,只保存每天的热数据,隔夜迁移到HDD Raid0。

升级的主要目的有一俩个 :内存隔离,当天和历史JAVA对象分离在不同的JVM里;IO隔离,当天和历史数据的磁盘IO分离在不同的磁盘上。

每天数据量共要2TB,记录数22亿,不含副本;高峰数据量每秒20万条记录;单个索引最快处理12万条记录每秒。

由上图还还能能 看过每个角色全部时会A、B、C一俩个 点,假如有一天做了冷热分离,Client多个点做了负载均衡。





监控这里用了某些工具。Netdata用来做某些系统资源的升级, _cat api是官方自带的,Cerebro是用的比较多的一俩个 插件,Prometheus还还能能 开箱即用。

重要选型首先从cpu介绍,亲戚让让让我们 推荐使用Xeon E5-24000 V4系列。官方测试显示,它比V3系列提升JAVA性能400%,亲戚让让让我们 进行了某些设置,包括指令预取,cache line预取,Numa Set。结合双路cpu,它的内存和节点有一俩个 就近读取的原则。亲戚让让让我们 根据单个机器的实例进行cpu的绑定。设置也不还还能能 提高cpu的命中率,减少内存的切换。

在内存方面,每台物理机配备的是128TB,SSD是1.6TB,HDD是40TB~48TB。具有大内存的特点,亲戚让让让我们 还进行了Cache加速,写负载高的也不上SSD,定期做Trim优化,利用SSD,SAS和SATA盘分级存储。

OS file system用的最多的是xfs。针对HDD、SSD 4k对齐优化,确保每个分区的start Address能被8整除,处理跨扇区访问,减少读写次数和延迟。

Shard和Replica个数是基于测试的经验,还还能能 作为参考,还基于负载、性能等。节点数设置为1.5。Shard size 控制在400GB以内,Shard docs 控制在5百万记录以内,Replica共要为1。

南京云利来有限公司主要专注于以下一俩个 方面:实时网络使用分析,具备世界领先20Gbps分析能力;为数据中心搭建大数据分析平台,数据中心主也不 给运维团队、安全团队和开发团队做跨部门相互企业合作;提供智能运维、网络安全和预警分析能力。产品主要应用的行业包括电商、政府、证券等。

数据分类整理主要分为网络类和日志类。网络类主要为旁路部署,用小盒子部署在机房内不同的点,包括出口入口。日志类主要包括Nagios (filebeat)和Zabbix (mysqlexporter)。



上图为主要数据类型,网络协议里全部时会数据库,是某些协议解析,还有某些交易的解析。还还能能 从网络层面和日志层面分开来比对。