5.1 elasticsearch删除历史日志
首先，贴出我从kafka采集日志到es的相关logstash的配置```input{ kafka{ topics =["logs-normal","logs-error","logs-point"...
-
半兽人
发布于
2年前
设置5.1 elasticsearch的默认分区数和副本数
最近使用elasticsearch 5.1版本，默认在配置中可设置分区和副本的数量现在不能使用了，翻了下文档，记录一下 修改现有修改现有的副本数为0```curl -XPUT https://192....
-
半兽人
发布于
2年前
liunx下elasticSearch 5.1.1安装及head安装
最近公司准备上新系统，elk准备直接用最新的5.1.1版本，直接上最新的 一、安装elasticsearch 前提首先，确保jdk为`jdk1.8.0_73`以上，并已确保安装ok。 1、下载elas...
-
半兽人
发布于
2年前
logstash区分不同数据源并输出到不同的地方
场景，logstash采集2个数据源A和B，A数据源的入kafka，B数据源的都入es。 语法 Input{ file { path =a type =A } file ...
-
半兽人
发布于
2年前
ElasticSearch定时删除数据
有的时候我们在使用ES时，由于资源有限或业务需求，我们只想保存最近一段时间的数据，所以有如下脚本可以定时删除数据新建 `delete_es_by_day.sh` 脚本：```!/bin/sh ex...
-
半兽人
发布于
2年前
ElasticSearch中根据查询结果删除数据（delete by query）
原有的方法在2.0版本中已经删除了，提供了`delete by query`插件来实现这个功能。这个插件的使用过程大致如下：1.安装。打开命令行，切到Elasticsearch文件夹中，运行如下命令：...
-
小蕊 发布于 2年前
logstash自定义正则表达式
创建一个自定义的patterns,在logstash目录下创建一个`patterns`。```vim patternsLOG_TIME (\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:...
-
半兽人
发布于
2年前
logstash合并java多行日志异常
读取java日志中，异常日志必不可少，但是在elasticsearch展示要合并成多行。下面是操作步骤 日志准备```[2016-11-01 16:48:24,946] [ERROR] c.b.t.b...
-
半兽人
发布于
2年前
将message日志中的字符串时间格式转化成@timestamp
采集日志的时候，由于有多个文件共同采集，时间顺序就不对了，所以要把@timestamp设置成日志中的时间。我的日志格式如下：```[2016-11-01 16:48:24,946] [ERROR] c...
-
半兽人
发布于
2年前
logstash中的时间不对称
时区问题的解释很多中国用户经常提一个问题：为什么 @timestamp 比我们早了 8 个小时？怎么修改成北京时间？其实，Elasticsearch 内部，对时间类型字段，是统一采用 UTC 时间，存...
-
半兽人
发布于
2年前