clickhouse-client将数据按固定长度 的数据量依次导出到csv文件

Question

clickhouse-client -u [用户名] -h [IP]-d [数据库名称] --password [密码] --
query="select*from database.table FORMAT CSV">文件路径以及文件名称
该命令可以导出clickhouse表数据到csv文件，由于表数据过大，想通过这个命令将每1000w条数据输出到一个csv，将表数据依次输出到多个CSV，麻烦举个示例。

Answer 1

假设要导出的表名为mytable，每个CSV文件包含1000万条数据，输出的CSV文件名为mytable_1.csv、mytable_2.csv、mytable_3.csv等等，可以使用以下命令：

clickhouse-client -u [用户名] -h [IP] -d [数据库名称] --password [密码] --query="SELECT * FROM mytable FORMAT CSV" | split -l 100000000 - mytable_

解释：

• split -l 100000000 - mytable_：将从标准输入中读取的数据按行分割，每1000万行输出到一个文件，文件名以mytable_开头，后面会自动添加后缀。

执行完命令后，会在当前目录下生成多个CSV文件，每个文件包含1000万条数据。如果表数据总共只有不到1000万条，那么只会生成一个CSV文件。