Java应用如何实现日志归集（java 日志收集框架）
在应用系统日常运维过程中，我们经常需要对应用的日志进行检索，以便快速地定位到故障点的位置及其原因，现在主流的方案有ELK和EFK。下面就Java应用日志如何接入ELK or EFK的技术方式进行说明。
ELK（Elasticsearch + Logstash + Kibana）和 EFK（Elasticsearch + Filebeat + Kibana）的区别在于EFK将Logstash(java项目)替换为Filebeat(golang项目)，提升服务器资源利用率和日志的处理能力。 |
Java应用日志如何接入ELK or EFK
Java应用日志接入ELK or EFK有两种方式，一是由应用日志框架通过网络将日志发送到Logstash或Filebeat，再由这两个组件将日志存储到Elasticsearch；二是应用日志先写入本地服务器文件中，再由Logstash或Filebeat读取本地日志文件，再将日志写入Elasticsearch。最后通过Kibana连接Elasticsearch对应于日志进行检索分析。
一般采用应用日志先写入本地文件，再进一步由Logstash或Filebeat采集的方式。该方式主要是考虑降低业务应用系统和日志组件之间的耦合度，具体分析如下：
第1种方式：Logstash或Filebeat故障时，可能会导致应用日志丢失（缓冲区溢出）；另外Logstash或Filebeat重新部署时其IP或端口发生了变化，需要调整应用系统配置参数，这会侵入业务应用系统运维，影响业务。
第2种方式：日志组件在维护时，不影响应用日志写入本地文件（即不影响到业务应用系统），并且Logstash或Filebeat通过自身的已完成日志采集的位置信息恢复日志采集，不会导致日志记录丢失。
下面就第2种方式Filebeat采集日志方式，了解如何快速实现日志归集。
Filebeat采集日志
在完成安装Elasticsearch和Kibana组件之后，在应用系统服务上运行日志采集器Filebeat，并配置其inputs和output项。Filebeat其配置非常丰富且配置简单，具体可参考官网说明。下面就上述方案2给出参考配置如下：
采集日志文件，主要是配置inputs项，其类型为filestream：
filebeat.inputs:
- type: filestream
id: my-filestream-id
paths:
- /var/log/*.log将日志写入Elasticsearch日志存储，主要是配置output项：
output.elasticsearch:
hosts: ["https://myEShost:9200"]
username: "filebeat_writer"
password: "YOUR_PASSWORD"
ssl.certificate: "/etc/pki/client/cert.pem"
ssl.key: "/etc/pki/client/cert.key"Kubernetes容器平台日志归集
k8s容器平台采用EFK方式，具体原理如上述，区别在于k8s平台通过DaemonSet将Filebeat组件部署到需要日志采集的服务器上，并且将filebeat.inputs采集文件路径指定到/var/log/containers/*.log（k8s pod容器日志输出文件linux链接到该目录下），使用filebeat processors add_kubernetes_metadata插件实现k8s pod container相关信息的额外采集，并同日志记录存入Elasticsearch，如pod的名称、pod所在的服务器ip等。
通过将应用系统日志归集，我们可以方便地在web可视化工具Kibana上检索需要的应用运行信息。为充分利用Elasticsearch的搜索和统计能力，可以考虑使用logback或log4j2 MDC方式增加自定义的KeyValue输出，在Kibana上利用Key精确的过滤出所关注的日志信息和基本的数据统计图示分析。