ST-GCN跑SHREC2017

Question

SHREC'17是动态手势数据集，其目录结构如下

├── display_gesture.m             # MATLAB显示一个序列的脚本
├── display_sequence.py           # python显示一个序列的脚本(依赖Scipy, Numpy and Matplotlib)
├── gesture_1                     # 姿势id
│   ├── finger_1                 # 手指id：单个指头（finger_1）；整个手部（finger_2）
│   │   ├── subject_1           # 参与者id
│   │   │   ├── essai_1        # 序列id
│   │   │   │   ├── 0_depth.png                  # 第1帧的深度图
│   │   │   │   ├── 2_depth.png
│   │   │   │    ...
│   │   │   │   ├── N-1_depth.png                # 第N帧的深度图
│   │   │   │   ├── general_informations.txt     # shape=(N,5)为全部N帧中手部区域所在矩形框，每一行为(i, x, y, width, height)
│   │   │   │   ├── skeletons_image.txt          # shape=(N,44)为全部N帧中2D深度图像中22个手关节的二维坐标
│   │   │   │   └── skeletons_world.txt          # shape=(N,66)为全部N帧中3D世界坐标系下22个手关节的三维坐标
│   │   │   ├── essai_2
│   │   │    ...
│   │   │   └── essai_5
│   │   ├── subject_2
│   │    ...
│   │   └── subject_20
│   └── finger_2
├── gesture_2
 ...
├── gesture_14
├── test_gestures.txt             # 训练序列的信息（1960行）格式为：id_gesture      id_finger    id_subject    id_essai    14_labels    28_labels    size_sequence
└── train_gestures.txt            # 测试序列的信息（840行）

另外我自己将其里面的txt格式文件转换为了对应的json格式文件，即 test_gestures.json与train_gestures.json就放在那俩txt的后面，使用ST-GCN自带的tools里面的kinetics_gendata.py将json转换为npy与pkl时遇到问题，下面是转换代码：

import os
import sys
import pickle
import argparse
import json
 
import numpy as np
from numpy.lib.format import open_memmap
 
sys.path.append(
    os.path.abspath(os.path.join(os.path.dirname(__file__), os.path.pardir)))
from feeder.feeder_kinetics import Feeder_kinetics
 
toolbar_width = 30
 
def print_toolbar(rate, annotation=''):
    # setup toolbar
    sys.stdout.write("{}[".format(annotation))
    for i in range(toolbar_width):
        if i * 1.0 / toolbar_width > rate:
            sys.stdout.write(' ')
        else:
            sys.stdout.write('-')
        sys.stdout.flush()
    sys.stdout.write(']\r')
 
 
def end_toolbar():
    sys.stdout.write("\n")
 
 
def gendata(
        data_path,
        label_path,
        data_out_path,
        label_out_path,
        num_person_in=1,  #observe the first 5 persons ----------------------------------------
        num_person_out=1,  #then choose 2 persons with the highest score -------------------
        max_frame=300):
 
    feeder = Feeder_kinetics(
        data_path=data_path,
        label_path=label_path,
        num_person_in=num_person_in,
        num_person_out=num_person_out,
        window_size=max_frame)
 
    sample_name = feeder.sample_name
    sample_label = []
 
    fp = open_memmap(
        data_out_path,
        dtype='float32',
        mode='w+',
        shape=(len(sample_name), 3, max_frame, 22, num_person_out))#---------------------------------------------------------
 
    for i, s in enumerate(sample_name):
        data, label = feeder[i]
        print_toolbar(i * 1.0 / len(sample_name),
                      '({:>5}/{:<5}) Processing data: '.format(
                          i + 1, len(sample_name)))
        fp[i, :, 0:data.shape[1], :, :] = data
        sample_label.append(label)
 
    with open(label_out_path, 'wb') as f:
        pickle.dump((sample_name, list(sample_label)), f)
 
 
if __name__ == '__main__':#-------------------  
    parser = argparse.ArgumentParser(
        description='SHREC Hand Gesture Data Converter.')
    parser.add_argument(
        '--data_path', default='data/HandGestureDataset_SHREC2017')
    parser.add_argument(
        '--out_folder', default='data/Kinetics/kinetics-skeleton')
    arg = parser.parse_args()
 
    part = ['train', 'val']
    for p in part:
        data_path = '{}/kinetics_{}'.format(arg.data_path, p)
        label_path = '{}/kinetics_{}_label.json'.format(arg.data_path, p)
        data_out_path = '{}/{}_data.npy'.format(arg.out_folder, p)
        label_out_path = '{}/{}_label.pkl'.format(arg.out_folder, p)
 
        if not os.path.exists(arg.out_folder):
            os.makedirs(arg.out_folder)
        gendata(data_path, label_path, data_out_path, label_out_path)

原来ST-GCN这个转换代码对应kinetics-skeleton数据集，这个数据集是明确将train与test分开成两个文件夹的，但是我这个数据集只能依靠txt或者json里面的内容来区分训练集与验证集，所以在这串代码里的data_path和label_path就不会写了，问了chatgpt给出的代码也不太能运行好。所以想请问，到底应该怎么写呢，万分感谢！

 
if __name__ == '__main__':#-------------------  
    parser = argparse.ArgumentParser(
        description='SHREC Hand Gesture Data Converter.')
    parser.add_argument(
        '--data_path', default='data/HandGestureDataset_SHREC2017')
    parser.add_argument(
        '--out_folder', default='data/Kinetics/kinetics-skeleton')
    arg = parser.parse_args()
 
    part = ['train', 'val']
    for p in part:
        data_path = '{}/kinetics_{}'.format(arg.data_path, p)
        label_path = '{}/kinetics_{}_label.json'.format(arg.data_path, p)
        data_out_path = '{}/{}_data.npy'.format(arg.out_folder, p)
        label_out_path = '{}/{}_label.pkl'.format(arg.out_folder, p)
 
        if not os.path.exists(arg.out_folder):
            os.makedirs(arg.out_folder)
        gendata(data_path, label_path, data_out_path, label_out_path)

附图，原本来的 kinetics-skeleton数据集格式，是csdn上某位老哥帖子里的图，不妥删。

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

对于您遇到的这个问题，我们需要修改代码以适应您的数据集格式。您的数据集格式和Kinetics-skeleton数据集有所不同，因此不能直接使用原来的转换代码。下面是一个修改后的代码示例，以适应您的SHREC 2017手势数据集：

import os
import argparse
import json
import pickle

def gendata(data_path, label_path, out_folder, num_person_in=1, num_person_out=1, max_frame=300):
    # 读取数据路径和标签路径
    data_dir = os.path.join(data_path, 'gesture_1')  # 修改为适合您的数据集的路径
    label_file = os.path.join(label_path, 'train_gestures.json')  # 修改为实际的训练集标签文件路径
    
    # 读取训练集标签信息
    with open(label_file, 'r') as f:
        labels = json.load(f)
        
    # 创建输出文件夹
    if not os.path.exists(out_folder):
        os.makedirs(out_folder)
    
    # 处理每个序列
    for i, label in enumerate(labels):
        gesture_id = label[0]  # 序列ID
        finger_id = label[1]  # 手指ID（手指或手部）
        subject_id = label[2]  # 参与者的ID
        essai_id = label[3]  # 序列的ID（用于区分同一参与者的不同序列）
        sequence_info = os.path.join(data_dir, gesture_id, subject_id, essai_id)  # 构建序列的完整路径
        sequence_data = []  # 存储序列的数据帧信息
        sequence_labels = []  # 存储序列的标签信息（如果有的话）
        
        # 读取每个数据帧的信息和标签（这里假设每帧的数据是相同的，需要根据实际情况调整）
        for frame in range(max_frame):  # 这里假设每帧的信息是固定的，可以根据实际情况调整范围或读取方式
            frame_path = os.path.join(sequence_info, f'{frame}_depth.png')  # 修改为实际的帧文件路径格式
            frame_data = ...  # 这里需要根据实际情况读取帧数据，并将其转换为ST-GCN所需的格式（如关节坐标等）
            sequence_data.append(frame_data)  # 将帧数据存储到序列列表中
            # 如果存在标签文件，也需要读取并存储标签信息到sequence_labels中（根据实际需要修改）
        
        # 将处理好的序列数据和标签存储到指定的输出文件夹中（如npy或pkl文件）
        out_data_path = os.path.join(out_folder, f'{gesture_id}_{subject_id}_{essai_id}_data.npy')  # 修改输出文件路径格式和名称
        out_label_path = os.path.join(out_folder, f'{gesture_id}_{subject_id}_{essai_id}_label.pkl')  # 修改输出标签文件路径格式和名称
        np.save(out_data_path, np.array(sequence_data))  # 保存数据到npy文件
        pickle.dump((sequence_labels), open(out_label_path, 'wb'))  # 保存标签到pkl文件（如果有的话）
        print(f'Processed sequence {gesture_id}_{subject_id}_{essai_id}')  # 输出处理进度信息
        
        # 可能需要根据实际需求进一步处理每个序列的其他文件信息（如skeleton文件等）并将其合并到序列数据中（如有需要的话）
        # ...（省略其他处理逻辑）

请注意，上述代码只是一个基本的示例，需要根据您的数据集的实际格式和需求进行修改和调整。特别是读取数据帧和标签的方式需要根据您的数据集结构进行调整。此外，代码中的路径和文件名也需要根据您的实际情况进行修改。希望这个示例能帮助您解决问题！