FATE中如何查看已创建的表空间数据？

Question

在使用FATE（Federated AI Technology Enabler）进行联邦学习建模时，数据表的管理依赖于底层的存储引擎（如Eggroll）。一个常见问题是：如何查看已在FATE中成功注册并创建的数据表（即“表空间数据”）？用户在完成数据上传后，常因无法直观确认表是否存在或路径是否正确而导致任务失败。虽然可通过`upload`模块将CSV文件注册为FATE表，但缺乏对已创建表的元信息查询接口让使用者困惑。特别是在多参与方协作场景下，如何通过CLI命令或API准确列出本节点已加载的数据表、其命名空间、表名及行数等信息，成为一个高频技术问题。需明确FATE-Board或命令行工具是否支持此类元数据查询，以及具体操作方式。

Answer 1

如何在FATE中查看已注册的数据表：从CLI到API的全方位解析

1. 背景与问题引入

在使用FATE（Federated AI Technology Enabler）进行联邦学习建模时，数据表的管理依赖于底层存储引擎，如Eggroll或Spark。用户通过upload模块将本地CSV文件注册为FATE表后，常面临一个核心问题：如何确认该表是否成功注册？尤其是在多方协作场景下，各参与方需确保其本节点上的数据表命名空间（namespace）、表名（table_name）及行数等元信息一致且可查。

由于FATE本身未提供统一的全局数据目录服务，数据表的可见性局限于本地存储引擎，因此查询机制显得尤为重要。

2. FATE数据表的核心概念

• Table Name：逻辑表名，由用户指定，在任务配置中引用。
• Namespace：命名空间，用于隔离不同项目或任务的数据表。
• Partitions：分区数，影响并行处理能力。
• Engine：底层存储引擎，如Eggroll、Spark、Pulsar等。
• Meta Key：FATE内部通过namespace:table_name作为唯一键索引元数据。

这些元信息被存储在FATE Flow服务的数据库（通常是MySQL）以及底层引擎（如Eggroll的LevelDB）中。

3. 查询方式一：使用FATE-Flow CLI命令行工具

FATE-Flow提供了丰富的CLI接口来管理数据和任务。以下是常用的数据表查询命令：

# 列出当前所有已注册的数据表
flow table list

# 按命名空间和表名精确查询
flow table table_info -n <namespace> -t <table_name>

# 示例：查询名为"breast_hetero_guest"，命名空间为"experiment_01"的表
flow table table_info -n experiment_01 -t breast_hetero_guest

输出示例：

key	value
table_name	breast_hetero_guest
namespace	experiment_01
partition	10
count	569
engine	Eggroll
create_time	2024-03-15 10:23:45
owner	admin
description	Breast Cancer Dataset for Hetero LR
data_type	vertical
schema	{"label": "y", "features": ["x1", "x2", ...]}

4. 查询方式二：调用FATE-Flow REST API

对于自动化系统集成，推荐使用REST API进行元数据查询。以下为关键端点：

GET /v1/table/list
GET /v1/table/info?namespace={ns}&table_name={tn}

示例请求：

curl -X GET "http://fate-flow:9380/v1/table/info?namespace=experiment_01&table_name=breast_hetero_guest"

响应结构包含完整的元信息，可用于监控平台或CI/CD流程中的数据验证环节。

5. 查询方式三：通过FATE-Board可视化界面

FATE-Board是FATE的Web管理控制台，支持图形化查看数据表状态：

1. 登录FATE-Board（默认地址：http://<ip>:8080）。
2. 进入“Data” → “Table Management”菜单。
3. 系统将列出本节点所有已注册的数据表。
4. 点击具体表名可查看详细信息，包括行数、字段Schema、创建时间等。
5. 支持按namespace、table_name关键字过滤。
6. 可导出为CSV格式用于审计或文档归档。

该方式适合非技术人员或调试阶段快速验证。

6. 底层存储引擎视角：Eggroll元数据探查

若需深入排查问题，可直接访问Eggroll的管理接口。Eggroll提供gRPC服务用于查询存储状态：

# 使用grpcurl工具调用Eggroll MetaService
grpcurl -plaintext localhost:4670 com.webank.ai.eggroll.core.api.grpc.server.MetaService/getStoreInfo \
  -d '{"storeLocator": {"tableName": "breast_hetero_guest", "namespace": "experiment_01"}}'

返回结果包含实际存储路径、分片分布、内存占用等低层信息，适用于性能调优与故障诊断。

7. 多方协作中的数据表同步校验策略

在跨机构联邦建模中，建议建立标准化的数据表注册与验证流程：

graph TD A[上传数据] --> B[调用flow table list验证] B --> C{是否存在？} C -- 是 --> D[记录元信息至共享文档] C -- 否 --> E[重新upload并重试] D --> F[通知合作方核对namespace/table_name] F --> G[双方执行table_info比对count/schema] G --> H[启动联合建模任务]

此流程可显著降低因数据错配导致的任务失败率。

8. 常见问题与规避建议

• 问题1：CLI返回“table not found”，但确认已upload——检查namespace拼写，注意大小写敏感。
• 问题2：FATE-Board未显示新表——刷新缓存或重启fate-board服务。
• 问题3：API返回空结果——确认fate-flow服务正常运行，检查日志fate_flow/python/fate_flow/settings.py中的数据库连接。
• 建议：建立统一命名规范，如proj_{name}_{role}_{version}，便于管理和追踪。

同时，可在CI脚本中加入如下健康检查逻辑：

if ! flow table table_info -n $NS -t $TN | grep -q "count"; then
  echo "Error: Table $NS:$TN not found or empty"
  exit 1
fi