使用tensorflow 1.12.0来自定义文件夹为数据集

Question

我下载好了图片，并且已经做好了分类。
文件夹名为cats_and_dogs_filtered，下一级分为train和validation，train和validation里都分好了cats和dogs两类图片。
请问我要如何使用tensorflow 1.12.0来自定义上述数据集？

Answer 1

以下内容由CHATGPT及阿里嘎多学长共同生成、有用望采纳：

---

问题概括

这个问题的目的是要了解如何使用TensorFlow 1.12.0来自定义一个由用户自己分类好的图片文件夹（cats_and_dogs_filtered），其中包含训练集（train）和验证集（validation），每个集合中进一步分为猫（cats）和狗（dogs）两个子类别，以便用于深度学习模型的训练和验证。

问题出现原因

这个问题出现的原因是用户已经准备好了数据集的图片，并且已经按照类别进行了组织，但不清楚如何在TensorFlow中设置和使用这个自定义数据集进行模型训练。

问题解决方案

为了使用TensorFlow 1.12.0自定义数据集，你需要执行以下步骤：

1. 创建图像数据生成器：使用tf.keras.preprocessing.image.ImageDataGenerator来创建一个图像数据生成器，它可以帮助你读取图片并进行预处理。

2. 设置数据生成器参数：指定图片的尺寸、批次大小、类别等参数。

3. 加载数据集：使用数据生成器的flow_from_directory方法来加载自定义的数据集。

4. 构建模型：定义你的深度学习模型，可以是一个卷积神经网络（CNN）。

5. 编译模型：使用适当的损失函数、优化器和评估指标来编译模型。

6. 训练模型：使用训练集数据和验证集数据训练模型。

提供代码

以下是使用TensorFlow 1.12.0自定义数据集的示例代码：

import tensorflow as tf
from tensorflow.keras.preprocessing.image import ImageDataGenerator

# 设置图像数据生成器参数
train_datagen = ImageDataGenerator(rescale=1./255,
                                   rotation_range=40,
                                   width_shift_range=0.2,
                                   height_shift_range=0.2,
                                   shear_range=0.2,
                                   zoom_range=0.2,
                                   horizontal_flip=True,
                                   fill_mode='nearest')

validation_datagen = ImageDataGenerator(rescale=1./255)

# 加载数据集
train_generator = train_datagen.flow_from_directory(
    'cats_and_dogs_filtered/train',
    target_size=(150, 150),
    batch_size=20,
    class_mode='binary')

validation_generator = validation_datagen.flow_from_directory(
    'cats_and_dogs_filtered/validation',
    target_size=(150, 150),
    batch_size=20,
    class_mode='binary')

# 构建模型（这里以简单的CNN为例）
model = tf.keras.models.Sequential([
    tf.keras.layers.Conv2D(32, (3, 3), activation='relu', input_shape=(150, 150, 3)),
    tf.keras.layers.MaxPooling2D(2, 2),
    # ... 添加更多层 ...
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(512, activation='relu'),
    tf.keras.layers.Dense(1, activation='sigmoid')
])

# 编译模型
model.compile(loss='binary_crossentropy',
              optimizer=tf.keras.optimizers.RMSprop(lr=0.001),
              metrics=['accuracy'])

# 训练模型
history = model.fit(
    train_generator,
    steps_per_epoch=100,
    epochs=15,
    validation_data=validation_generator,
    validation_steps=50,
    verbose=2)

代码运行方式

要运行此代码，你需要确保你的Python环境中已安装TensorFlow 1.12.0。你可以使用以下命令安装：

pip install tensorflow==1.12.0

然后，将上述代码保存为.py文件，并使用Python运行它。

代码预期运行结果

代码将训练一个简单的卷积神经网络，用于区分猫和狗的图片。训练过程中，你将看到每个epoch的损失和准确率输出。

推荐相关链接

• TensorFlow官方文档
• TensorFlow图像数据生成器教程
• 使用TensorFlow进行图像分类