ELK日志体系架构说明
ELK是Elasticsearch、Logstash、Kibana三款开源软件的组合方案，专门用于海量日志数据的收集、存储和可视化分析。Elasticsearch作为分布式搜索引擎负责日志存储和全文检索，Logstash承担日志解析和转换处理，Kibana提供Web界面供用户查询和统计。实际部署中通常加入Filebeat作为轻量级日志采集器，部署在各业务服务器上，将日志文件增量读取后转发到Logstash或直接写入Elasticsearch。这种分层架构既能满足集中管理需求，又不会对业务服务器造成明显资源开销。
Elasticsearch集群部署
Elasticsearch是ELK体系的核心，建议至少部署三节点集群保障高可用。安装前需要调整系统参数：关闭swap分区、设置文件描述符上限、调整虚拟内存映射数。集群配置文件elasticsearch.yml中需要指定集群名称、节点名称、数据目录路径和网络地址。节点角色分为master主节点负责集群管理、data数据节点负责索引存储、coordinating协调节点负责查询路由。生产环境建议master节点和数据节点分离部署，避免大数据量查询影响集群稳定性。索引模板配置需要提前规划好分片数和副本数，通常按日均日志量估算分片数量，单个分片控制在三十GB到五十GB之间。
Logstash解析管道配置
Logstash的配置分为input输入、filter过滤、output输出三段。input插件常用beats协议接收Filebeat发来的日志数据，或kafka消费队列中的日志流。filter段是日志处理的核心，通过grok正则解析把非结构化日志文本提取为字段，date插件将日志中的时间戳标准化为ISO格式，mutate插件用于字段重命名、类型转换和删除无用字段。复杂解析场景可以使用ruby插件编写自定义处理逻辑。output段配置elasticsearch插件将处理后的日志写入索引，建议配置按日期动态索引名便于数据生命周期管理。管道配置完成后用config.test_and_exit模式验证语法正确性。
Filebeat采集器部署
Filebeat是用Go语言编写的轻量日志采集器，资源占用极低，适合大规模部署。配置文件filebeat.yml中定义日志输入路径、多行合并规则和输出目标。对于Java应用堆栈日志，需要配置multiline多行合并，将属于同一条异常的多个行合并为一条事件。输出端可以直连Elasticsearch或先发往Logstash处理，后者适合需要复杂解析的场景。Filebeat内置了丰富的Processors处理器，可以在采集端完成字段添加、路径替换、敏感信息脱敏等操作，减轻Logstash处理压力。采集器支持注册到Kibana中集中管理配置，实现统一下发和版本更新。
Kibana检索与日志分析
Kibana是ELK体系的可视化前端，Discover页面提供日志检索功能，支持Lucene语法和KQL查询语言。用户可以按时间范围、关键字、字段值组合筛选日志，快速定位异常事件。通过Saved Search保存常用查询条件，方便日常巡检使用。Kibana的Visualize功能可以基于日志数据创建饼图、柱状图、折线图等统计图表，Dashboard页面将多个图表组合成监控看板。对于安全审计场景，可以配合Elasticsearch的告警功能设置异常登录检测规则，当某IP短时间内多次登录失败时自动触发告警通知，为安全运维提供预警能力。