EFK如何批量下载分析文件

Question

EFK如何批量下载分析文件
软件：kibana:8.1.0 ，elasticsearch:8.1.0 docker安装的
平时是按照如下如所示进行下载的，因为要下载的文件非常多，耗时非常长，想找一种可以批量下载的方法，尝试过用DM软件进行下载，但失败了，请问各位有无好的解决办法？谢谢各位

Answer 1

引自强大而免费的微信小程序：皆我知道。

批量下载分析文件可以使用以下步骤：

1. 确认需要下载的文件列表。根据你的需求，确定需要下载的文件列表以及文件的存储路径。

2. 使用 elasticsearch-dump 工具导出文件。elasticsearch-dump 是一个用于从 Elasticsearch 导出数据的工具。在终端中运行以下命令安装 elasticsearch-dump：

npm install elasticdump -g

然后使用以下命令导出文件：

elasticdump \
  --input=http://localhost:9200/[索引名称] \
  --output=/path/to/output/file.json \
  --limit=1000 \
  --type=data

其中：

• --input 指定 Elasticsearch 的 URL，格式为 http://host:port/[index]，其中 [index] 是需要导出的索引名称。
• --output 指定导出文件的路径和文件名。
• --limit 指定每次导出的记录数，根据实际情况设置合适的值。
• --type 指定要导出的数据类型，可以是 data、mapping 或 analyzer。

1. 批量下载导出的文件。根据你的需求，可以使用命令行工具（如 wget 或 curl）或编写脚本来批量下载导出的文件。

如果你想要一次性下载所有导出的文件，可以使用以下 Python 代码示例：

import requests

file_list = [
  '/path/to/output/file1.json',
  '/path/to/output/file2.json',
  '/path/to/output/file3.json',
  ...
]

for file_path in file_list:
  file_url = f'http://localhost:8000{file_path}'  # 假设文件服务的 URL 是 http://localhost:8000
  response = requests.get(file_url)
  with open(file_path, 'wb') as f:
    f.write(response.content)

请注意，上述代码中的文件服务 URL http://localhost:8000 是一个示例，你需要将它替换为实际的文件服务 URL。

参考资料：

• elasticsearch-dump GitHub 仓库
• requests 文档