Глубокое обучение 100 примеров - Сверточная нейронная сеть (CNN) Распознавание погоды | День 5

глубокое обучение
Глубокое обучение 100 примеров - Сверточная нейронная сеть (CNN) Распознавание погоды | День 5

1. Предварительная работа

В этой статье CNN будет использоваться для распознавания четырех погодных состояний: облачно, дождливо, солнечно и восход солнца. По сравнению с предыдущей статьей, чтобы повысить способность модели к обобщению, в этой статье добавлен слой Dropout и настраивается слой максимального объединения до среднего слоя объединения.

моя среда:

  • Язык: Python3.6.5
  • Компилятор: Jupyter Notebook
  • Среда глубокого обучения: TensorFlow2.4.1

Рекомендуемое чтение:

Из колонки:«Глубокое обучение 100 случаев»

1. Настройте графический процессор

Если вы используете ЦП, вы можете пропустить этот шаг.

import tensorflow as tf

gpus = tf.config.list_physical_devices("GPU")

if gpus:
    gpu0 = gpus[0]                                        #如果有多个GPU，仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True)  #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0],"GPU")

2. Импорт данных

import matplotlib.pyplot as plt
import os,PIL

# 设置随机种子尽可能使结果可以重现
import numpy as np
np.random.seed(1)

# 设置随机种子尽可能使结果可以重现
import tensorflow as tf
tf.random.set_seed(1)

from tensorflow import keras
from tensorflow.keras import layers,models

import pathlib

data_dir = "D:/jupyter notebook/DL-100-days/datasets/weather_photos/"

data_dir = pathlib.Path(data_dir)

3. Просмотр данных

Набор данных разделен наcloudy,rain,shine,sunriseЧетыре категории, соответственно сохраненные вweather_photosв подпапках, названных в соответствии с их именами.

image_count = len(list(data_dir.glob('*/*.jpg')))

print("图片总数为：",image_count)

图片总数为： 1125

roses = list(data_dir.glob('sunrise/*.jpg'))
PIL.Image.open(str(roses[0]))

在这里插入图片描述

2. Предварительная обработка данных

1. Загрузите данные

использоватьimage_dataset_from_directoryметод загрузки данных с диска вtf.data.Datasetсередина

batch_size = 32
img_height = 180
img_width = 180

"""
关于image_dataset_from_directory()的详细介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
"""
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset="training",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size)

Found 1125 files belonging to 4 classes.
Using 900 files for training.

"""
关于image_dataset_from_directory()的详细介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
"""
val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset="validation",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size)

Found 1125 files belonging to 4 classes.
Using 225 files for validation.

Мы можем вывести метки набора данных через class_names. Метки будут соответствовать в алфавитном порядке именам каталогов.

class_names = train_ds.class_names
print(class_names)

['cloudy', 'rain', 'shine', 'sunrise']

2. Визуализируйте данные

plt.figure(figsize=(20, 10))

for images, labels in train_ds.take(1):
    for i in range(20):
        ax = plt.subplot(5, 10, i + 1)

        plt.imshow(images[i].numpy().astype("uint8"))
        plt.title(class_names[labels[i]])
        
        plt.axis("off")

在这里插入图片描述

3. Проверьте данные еще раз

for image_batch, labels_batch in train_ds:
    print(image_batch.shape)
    print(labels_batch.shape)
    break

(32, 180, 180, 3)
(32,)
  • Image_batchявляется тензором формы (32, 180, 180, 3). Это пакет из 32 изображений размером 180x180x3 (последний размер относится к цветовому каналу RGB).
  • Label_batch— тензор формы (32,), эти метки соответствуют 32 изображениям

4. Настройте набор данных

  • shuffle(): скремблировать данные Подробное описание этой функции см. в:zhuanlan.zhihu.com/p/42417456
  • prefetch(): Предварительная выборка данных, ускорение работы

prefetch()Детали функции: Когда ЦП готовит данные, ускоритель находится в состоянии ожидания. Вместо этого ЦП простаивает, пока ускоритель обучает модель. Следовательно, время, необходимое для обучения, равно сумме времени предварительной обработки ЦП и времени обучения ускорителя.prefetch()Перекрывайте предварительную обработку шага обучения и процесса выполнения модели. Пока ускоритель выполняет N-й шаг обучения, ЦП подготавливает данные для N+1-го шага. Это не только минимизирует время этапа обучения (а не общее время), но также сокращает время, необходимое для приема и преобразования данных. если не использоватьprefetch(), CPU и GPU/TPU большую часть времени бездействуют:

在这里插入图片描述использоватьprefetch()Значительно сокращает время простоя:在这里插入图片描述

  • cache(): кэшируйте набор данных в память, чтобы ускорить операцию.
AUTOTUNE = tf.data.AUTOTUNE

train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

3. Построение сети CNN

Входные данные для сверточной нейронной сети (CNN) находятся в форме тензора.(image_height, image_width, color_channels), который содержит информацию о высоте, ширине и цвете изображения. Ввод не требуетсяbatch size. color_channels — это (R, G, B), соответствующие трем цветовым каналам RGB соответственно. В этом примере наш ввод CNN, изображение из набора данных fashion_mnist, имеет форму(28, 28, 1)то есть изображение в градациях серого. Нам нужно присвоить форму параметру при объявлении первого слояinput_shape.

num_classes = 4

"""
关于卷积核的计算不懂的可以参考文章：https://blog.csdn.net/qq_38251616/article/details/114278995

layers.Dropout(0.4) 作用是防止过拟合，提高模型的泛化能力。
在上一篇文章花朵识别中，训练准确率与验证准确率相差巨大就是由于模型过拟合导致的

关于Dropout层的更多介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/115826689
"""

model = models.Sequential([
    layers.experimental.preprocessing.Rescaling(1./255, input_shape=(img_height, img_width, 3)),
    
    layers.Conv2D(16, (3, 3), activation='relu', input_shape=(img_height, img_width, 3)), # 卷积层1，卷积核3*3  
    layers.AveragePooling2D((2, 2)),               # 池化层1，2*2采样
    layers.Conv2D(32, (3, 3), activation='relu'),  # 卷积层2，卷积核3*3
    layers.AveragePooling2D((2, 2)),               # 池化层2，2*2采样
    layers.Conv2D(64, (3, 3), activation='relu'),  # 卷积层3，卷积核3*3
    layers.Dropout(0.3),  
    
    layers.Flatten(),                       # Flatten层，连接卷积层与全连接层
    layers.Dense(128, activation='relu'),   # 全连接层，特征进一步提取
    layers.Dense(num_classes)               # 输出层，输出预期结果
])

model.summary()  # 打印网络结构

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
rescaling (Rescaling)        (None, 180, 180, 3)       0         
_________________________________________________________________
conv2d (Conv2D)              (None, 178, 178, 16)      448       
_________________________________________________________________
average_pooling2d (AveragePo (None, 89, 89, 16)        0         
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 87, 87, 32)        4640      
_________________________________________________________________
average_pooling2d_1 (Average (None, 43, 43, 32)        0         
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 41, 41, 64)        18496     
_________________________________________________________________
dropout (Dropout)            (None, 41, 41, 64)        0         
_________________________________________________________________
flatten (Flatten)            (None, 107584)            0         
_________________________________________________________________
dense (Dense)                (None, 128)               13770880  
_________________________________________________________________
dense_1 (Dense)              (None, 5)                 645       
=================================================================
Total params: 13,795,109
Trainable params: 13,795,109
Non-trainable params: 0
_________________________________________________________________

В-четвертых, компилировать

Прежде чем модель будет готова к обучению, необходимо выполнить еще несколько настроек. На этапе компиляции модели было добавлено следующее:

  • Функция потерь (loss): используется для измерения точности модели во время обучения.
  • Оптимизатор: определяет, как модель обновляется на основе данных, которые она видит, и собственной функции потерь.
  • Метрики: используются для отслеживания этапов обучения и тестирования. В следующих примерах используется точность, которая представляет собой соотношение правильно классифицированных изображений.
# 设置优化器
opt = tf.keras.optimizers.Adam(learning_rate=0.001)

model.compile(optimizer=opt,
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

5. Обучение модели

epochs = 10

history = model.fit(
  train_ds,
  validation_data=val_ds,
  epochs=epochs
)

Epoch 1/10
29/29 [==============================] - 6s 58ms/step - loss: 1.5865 - accuracy: 0.4463 - val_loss: 0.5837 - val_accuracy: 0.7689
Epoch 2/10
29/29 [==============================] - 0s 12ms/step - loss: 0.5289 - accuracy: 0.8295 - val_loss: 0.5405 - val_accuracy: 0.8133
Epoch 3/10
29/29 [==============================] - 0s 12ms/step - loss: 0.2930 - accuracy: 0.8967 - val_loss: 0.5364 - val_accuracy: 0.8000
Epoch 4/10
29/29 [==============================] - 0s 12ms/step - loss: 0.2742 - accuracy: 0.9074 - val_loss: 0.4034 - val_accuracy: 0.8267
Epoch 5/10
29/29 [==============================] - 0s 11ms/step - loss: 0.1952 - accuracy: 0.9383 - val_loss: 0.3874 - val_accuracy: 0.8844
Epoch 6/10
29/29 [==============================] - 0s 11ms/step - loss: 0.1592 - accuracy: 0.9468 - val_loss: 0.3680 - val_accuracy: 0.8756
Epoch 7/10
29/29 [==============================] - 0s 12ms/step - loss: 0.0836 - accuracy: 0.9755 - val_loss: 0.3429 - val_accuracy: 0.8756
Epoch 8/10
29/29 [==============================] - 0s 12ms/step - loss: 0.0943 - accuracy: 0.9692 - val_loss: 0.3836 - val_accuracy: 0.9067
Epoch 9/10
29/29 [==============================] - 0s 12ms/step - loss: 0.0344 - accuracy: 0.9909 - val_loss: 0.3578 - val_accuracy: 0.9067
Epoch 10/10
29/29 [==============================] - 0s 11ms/step - loss: 0.0950 - accuracy: 0.9708 - val_loss: 0.4710 - val_accuracy: 0.8356

6. Оценка модели

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']

loss = history.history['loss']
val_loss = history.history['val_loss']

epochs_range = range(epochs)

plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

在这里插入图片描述

Мысли: 1. В чем разница между максимальным и средним объединением? 2. Насколько велика скорость обучения и как настроить оптимизатор?

Рекомендуемое чтение:

Из колонки:«Глубокое обучение 100 случаев»

Данные можно получить, ответив на [DL+5] в публичном аккаунте WeChat [K classmate].

Категории