5.1 elasticsearch删除历史日志

首先，贴出我从kafka采集日志到es的相关logstash的配置```input{ kafka{ topics =["logs-normal","logs-error","logs-point"... elasticsearch elk

•  半兽人 发布于 2年前

设置5.1 elasticsearch的默认分区数和副本数

最近使用elasticsearch 5.1版本，默认在配置中可设置分区和副本的数量现在不能使用了，翻了下文档，记录一下 修改现有修改现有的副本数为0```curl -XPUT https://192.... elasticsearch elk

•  半兽人 发布于 2年前

liunx下elasticSearch 5.1.1安装及head安装

最近公司准备上新系统，elk准备直接用最新的5.1.1版本，直接上最新的 一、安装elasticsearch 前提首先，确保jdk为`jdk1.8.0_73`以上，并已确保安装ok。 1、下载elas... elk elasticsearch

•  半兽人 发布于 2年前

logstash区分不同数据源并输出到不同的地方

场景，logstash采集2个数据源A和B，A数据源的入kafka，B数据源的都入es。 语法 Input{ file { path =a type =A } file ... elk logstash

•  半兽人 发布于 2年前

ElasticSearch定时删除数据

有的时候我们在使用ES时，由于资源有限或业务需求，我们只想保存最近一段时间的数据，所以有如下脚本可以定时删除数据新建 `delete_es_by_day.sh` 脚本：```!/bin/sh ex... elk elasticsearch

•  半兽人 发布于 2年前

ElasticSearch中根据查询结果删除数据（delete by query）

原有的方法在2.0版本中已经删除了，提供了`delete by query`插件来实现这个功能。这个插件的使用过程大致如下：1.安装。打开命令行，切到Elasticsearch文件夹中，运行如下命令：... elk logstash

•  小蕊 发布于 2年前

logstash自定义正则表达式

创建一个自定义的patterns,在logstash目录下创建一个`patterns`。```vim patternsLOG_TIME (\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:... elk logstash

•  半兽人 发布于 3年前

logstash合并java多行日志异常

读取java日志中，异常日志必不可少，但是在elasticsearch展示要合并成多行。下面是操作步骤 日志准备```[2016-11-01 16:48:24,946] [ERROR] c.b.t.b... elk logstash

•  半兽人 发布于 3年前

将message日志中的字符串时间格式转化成@timestamp

采集日志的时候，由于有多个文件共同采集，时间顺序就不对了，所以要把@timestamp设置成日志中的时间。我的日志格式如下：```[2016-11-01 16:48:24,946] [ERROR] c... elk logstash

•  半兽人 发布于 3年前

logstash中的时间不对称

时区问题的解释很多中国用户经常提一个问题：为什么 @timestamp 比我们早了 8 个小时？怎么修改成北京时间？其实，Elasticsearch 内部，对时间类型字段，是统一采用 UTC 时间，存... elk logstash

•  半兽人 发布于 3年前