如何從metadata.csv載入全部的CBIS-DDSM資料?

Question

如图， 我用NBIA Data Retriever下载了整个163GB的 CBIS-DDSM dataset， 它里面有附一个metadata.csv.
我想， 应该是要用它来开启图像文件吧？？ CSV档如下

可以提供我一些通过metadata.csv load 全部图像文件（163GB）的python code吗？？

Answer 1

CBIS-DDSM (Curated Breast Imaging Subset of DDSM) 是一组包含乳腺 X 射线和 MRI 图像的数据集，metadata.csv 文件包含了这些图像的元数据，如文件名、分类标签等。

如果要从 metadata.csv 中载入全部的 CBIS-DDSM 数据，可以使用以下步骤：

使用 pandas 库读取 metadata.csv 文件，将数据存储到一个 DataFrame 中，如下所示：

import pandas as pd

metadata = pd.read_csv('metadata.csv')

可以通过从 DataFrame 中选择需要的特定列来获取元数据信息。例如，可以通过下面的代码来获取所有图像的文件名：

file_names = metadata['file_name']

根据文件名读取图像文件。对于 CBIS-DDSM 数据集，图像文件可能是 DICOM 格式，可以使用 pydicom 库来读取 DICOM 文件。

import pydicom

image = pydicom.dcmread(file_names[0]) #example

可以通过接着遍历文件名的列表来读取所有的图像文件。

可以使用其他列的数据来对图像进行分类和标记，如下面的代码所示：

class_label = metadata['class']
image_id = metadata['image_id']

如此，就可以完成通过metadata.csv载入全部CBIS-DDSM数据的操作。注意在读取图像文件时，需要指定正确的文件路径。

另外，在使用这些数据进行训练或其他操作之前，还需要进行数据预处理和格式转换等操作。

Answer 2

这么大，肯定很难打开，把文件分割开来

import pandas as pd
dd = pd.read_csv('大文件.csv', sep=',', chunksize=20000)
for i, chunk in enumerate(dd):
    chunk.to_csv(str(i) + '.csv', index=False)

Answer 3

metadata.csv里面是对cbis-ddsm数据集的数据描述，具体的数据还是在上面那个ddsm文件夹中，你可以通过metadata.csv文件筛选你要的数据，然后去ddsm那个文件夹下读取对应的数据文件，具体如何处理和展现ddsm数据，可以参考:
https://aistudio.baidu.com/aistudio/projectdetail/3493509