采用filebeat收集日志,日志文件频繁旋转,造成filebeat占用文件不释放,只要filebeat保持着被删除文件开放状态,操作系统就不释放磁盘空间,导致可用磁盘空间逐渐减小。如下监控图,杀掉filebeat进程之后,磁盘占用陡然下降。
使用lsof命令查看filebeat保持着的文件资源,可以发现许多被filebeat占用空间的失效文件(删除)文件。
删除状态的文件没有释放,始终占据磁盘空间
解决办法:
查看filebeat配置文件位置:/etc/filebeat/filebeat.yml
在配置文件中添加close_timeout: 5 m,保证每隔5分钟文件处理程序被关闭,不管是否遇到EOF符号。
filebeat。探矿者:
-类型:日志
,,路径:
,,,——/opt/应用程序/ecm/服务/风暴/1.0.1/包/apache-storm-1.0.1 xyz/日志/workers-artifacts/*/*/worker.log
,,tail_files:假
,,force_close_files:真
,,处理器
:
- add_cloud_metadata: ~
output.logstash:
,,主机(“10.10.10.10:6667"):
,,loadbalance:真
,,工作人员:1
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
close_rename, close_removed, close_eof, close_inactive等配置型对于(deteled)状态处理均无效(已测试验证)
