ELK索引每日生成固定时间格式索引

Question

elk版本7.4版本，结构是filebeat—kafka—logstash—es—kibana
需求 每日凌晨生成固定时间格式的索引（类似index-2023.05.09），这个索引受到索引生命周期的管理，进行热，冷，删除阶段的管理
当前已做到
当天索引已经生成了，数据正常写入

  elasticsearch {
    hosts => [ "localhost:9200" ]
    index => "logs-%{+YYYY.MM.dd}"
  }
}

{
  "index_patterns": ["logs-*"],
  "settings": {
    "index.lifecycle.name": "logs_policy",
    "index.lifecycle.rollover_alias": "logs"
  },
  "mappings": {
    "properties": {
      "message": { "type": "text" }
    }
  }
}

PUT _ilm/policy/logs_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_age": "1d",
            "max_size": "5gb"
          }
        }
      },
      "delete": {
        "min_age": "7d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

已经做完这三步，索引在凌晨时滚动未设置
不知道这个步骤有没有问题，求指导，谢谢

Answer 1

根据您提供的信息，您已经完成了以下步骤：

1. 在Logstash中使用Elasticsearch输出插件将数据写入Elasticsearch索引，索引名称为"logs-%{+YYYY.MM.dd}"，即每天生成一个新的索引。

2. 使用Index Lifecycle Management（ILM）创建了一个名为"logs_policy"的策略，该策略定义了索引的生命周期，包括热、冷和删除阶段。

3. 创建了一个名为"logs"的rollover_alias，该别名将用于在索引滚动时切换到新的索引。

根据您提供的信息，您的索引在凌晨时没有滚动。这可能是由于以下原因之一：

1. 策略未与索引关联：请确保将策略与索引关联。您可以使用以下命令将策略与索引关联：

PUT logs-*/_settings
{
  "index": {
    "lifecycle": {
      "name": "logs_policy",
      "rollover_alias": "logs"
    }
  }
}

1. 策略未启用：请确保已启用策略。您可以使用以下命令启用策略：

PUT logs_policy/_settings
{
  "policy": {
    "status": "true"
  }
}

1. 策略条件未满足：请确保策略条件已满足。例如，如果您的策略定义了"max_age": "1d"，则索引将在创建后的一天后滚动到下一个索引。

如果您已经检查了以上原因，并且仍然无法解决问题，请提供更多信息，例如Elasticsearch和Logstash的日志，以便我们更好地帮助您解决问题。