深度学习实战-基于CNN+VGG16融合的水稻图像分类识别模型

1.项目背景

在现代精准农业与智能化粮食供应链体系中，水稻品种的快速、无损、高精度自动鉴别是优化种子选育、规范市场准入及提升精深加工质量的关键技术支撑。水稻作为全球半数以上人口的主食，其不同品种（如Arborio、Basmati、Ipsala、Jasmine、Karacadag等）在加工特性、营养价值及市场定位上存在显著差异。然而，这些品种的稻谷在宏观形态上往往呈现出极高的几何相似性，传统的作物品种鉴别高度依赖经验丰富的农艺专家或品控人员进行肉眼观测，不仅效率低下、主观性强，且在面对大批量、高并发的工业化分拣场景时极易产生疲劳误判。近年来，随着计算机视觉与深度学习技术的爆发式发展，利用卷积神经网络自动提取图像的多级空间分布式特征，已成为突破农产品细粒度分类瓶颈的技术共识。

本项目立足于这一工业落地需求，针对大体量、多品类的水稻图像资产，探索如何将具备强大通用视觉先验的经典预训练网络与定制化卷积架构进行深度融合与动态调谐。通过架设高性能流式数据分发管线，并在计算图中实施分阶段、高特异性的权重微调，旨在攻克形态相近品种间的特征交织难题，从而构建一套兼顾高吞吐吞吐与极致泛化命中率的水稻图像智能分类识别方案，为现代农业的数字化转型与全自动无损质检沉淀出严谨且具交付价值的工程示范。

2.数据集介绍

本实验数据集来源于Kaggle的水稻图像数据集，五个不同的稻米图像数据集：Arborio, Basmati, Ipsala, Jasmine, Karacadag。数据集包含共计75,000张稻谷图像，每种品种各15,000张。

3.技术工具

Python版本:3.9

代码编辑器：jupyter notebook

4.实验过程

4.1导入数据

在现代精准农业与粮食安全监测体系中，水稻品种的智能化自动鉴别是优化种子选育、规范市场交易及提升加工质量的核心技术支撑。传统的作物品种识别高度依赖农艺专家的肉眼观测，不仅效率受限，且在面对外观几何特征极其相似的高级稻米品种时极易产生主观误差。本项目立足于计算机视觉在农产品品质检测领域的深度应用，利用 TensorFlow/Keras 框架，构建了一套结合自定义 CNN（卷积神经网络） 与经典 VGG16 迁移学习骨干网的融合图像分类识别方案。实验流程的第一步聚焦于底层环境的依赖部署、物理数据集的自动化工程切分以及各品类样本规模的底数盘点。通过引入 splitfolders 算子，代码能够在线性流状态下将原始的水稻图像资产按比例划分为物理隔离的训练、验证与测试矩阵，为后续构建无数据泄露的鲁棒双轨数据流分发管线打下严谨的形态学基础。

import matplotlib.pyplot as pltimport seaborn as snsimport numpy as npimport pandas as pdimport randomimport cv2import osimport PILimport pathlibimport splitfoldersimport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersfrom tensorflow.keras.models import Sequentialfrom keras.callbacks import ModelCheckpoint, EarlyStopping, ReduceLROnPlateaufrom keras.preprocessing.image import ImageDataGeneratorfrom keras.applications.vgg16 import VGG16# --- 1. 配置原始数据集根路径并激活物理分层切分 ---base_ds = '../input/rice-image-dataset/Rice_Image_Dataset'base_ds = pathlib.Path(base_ds)# 利用 splitfolders 将原始大盘数据按 70% 训练、15% 验证、15% 测试的黄金比例自动归类输出到 'imgs' 目录splitfolders.ratio(base_ds, output='imgs', seed=123, ratio=(.7,.15,.15), group_prefix=None)# --- 2. 扫描并收集各品类水稻图像的物理物理文件名列表 ---arborio = [fn for fn in os.listdir(f'{base_ds}/Arborio') if fn.endswith('.jpg')]bastmati = [fn for fn in os.listdir(f'{base_ds}/Basmati') if fn.endswith('.jpg')]ipsala = [fn for fn in os.listdir(f'{base_ds}/Ipsala') if fn.endswith('.jpg')]jasmine = [fn for fn in os.listdir(f'{base_ds}/Jasmine') if fn.endswith('.jpg')]karacadag = [fn for fn in os.listdir(f'{base_ds}/Karacadag') if fn.endswith('.jpg')]# 将分散的列表打包进大容器，便于后面对照对照rice = [arborio, bastmati, ipsala, jasmine, karacadag]# --- 3. 动态提取并检索规范化的类目名称 ---rice_classes = []for i in os.listdir('imgs/train'):    rice_classes+=[i]rice_classes.sort()# --- 4. 打印统计大盘指标，核验全盘数据资产分布 ---image_count = len(list(base_ds.glob('*/*.jpg')))print(f'Total images: {image_count}')print(f'Total number of classes: {len(rice_classes)}')# 循环遍历，在控制台同步回显各个水稻变种的细粒度样本规模count = 0rice_count = []for x in rice_classes:  print(f'Total {x} images: {len(rice[count])}')  rice_count.append(len(rice[count]))  count += 1

4.2数据可视化

在深度学习模型接触海量矩阵前，从微观像素尺寸与宏观表型特征两个维度对水稻影像实施抽样审查，是确立预处理边界的必要前瞻工作。水稻品种的差异往往集中在米粒的长宽比、晶莹度及端部的解剖学弧度上，这些关键视觉特征极易受到图像拍摄分辨率与色彩通道排列的影响。本阶段首先对单幅特定水稻样本进行底层读取与维度透视，借此获取物理图像的原始分辨率与色彩空间排布

# =========================================================# 第一部分：单幅样本特征透视与通道边界核验# =========================================================# --- 1. 读取单张特定水稻图像的物理像素矩阵 ---sample_img = cv2.imread('imgs/test/Arborio/Arborio (10).jpg')# --- 2. 渲染物理影像并控制台打印空间几何维度 ---plt.imshow(sample_img)print(f'Image dimensions: {sample_img.shape}') # 动态输出形如 (H, W, C) 的三维张量信息

接着通过封装一个随机类目检索函数，对划分好的数据集开展跨类别、多轮次的动态矩阵网格渲染，以直观审视各稻米变种在几何轮廓与色泽质地上的细微统计学差异。

# =========================================================# 第二部分：多变种水稻图像矩阵随机采样与对比渲染# =========================================================# --- 3. 封装跨品类随机图像动态流式加载渲染器 ---def load_random_img(dir, label):  plt.figure(figsize=(10,10))  i=0  # 遍历当前已注册的水稻五大核心类目  for label in rice_classes:    i+=1    # 动态组装 1x5 的多子图网格画布    plt.subplot(1, 5, i)    # 从对应的物理文件夹中随机抽取一个水稻 JPG 样本    file = random.choice(os.listdir(f'{dir}/{label}'))    image_path = os.path.join(f'{dir}/{label}', file)    # 依托 OpenCV 引擎解码物理图像    img=cv2.imread(image_path)    # 配置子图标签并渲染，移除传统的坐标轴刻度线以聚焦米粒形体本身    plt.title(label)    plt.imshow(img)    plt.grid(None)    plt.axis('off')# --- 4. 触发 3 轮循环，连续生成多组随机对比阵列 ---for i in range(3):  load_random_img(base_ds, rice_classes)

4.3特征工程

在深度学习处理高维图像矩阵时，由于原始像素值的物理区间分布在 0 到 255 之间，过高的数值波动极易导致反向传播时梯度爆炸或激活函数饱和。此外，由于内存空间的物理限制，我们不可能将成千上万张高分辨率水稻图像一次性全部塞入显存。本阶段的特征工程核心任务在于，统一规范输入网络的图像空间几何尺度，并将像素归一化与小批次（Mini-batch）动态异步流式分发机制无缝整合。通过配置 TensorFlow/Keras 专职的 ImageDataGenerator 算子，代码在内存中架设起三条并行的非阻塞式图像处理流水线，实现了海量水稻图像从磁盘存储向张量矩阵的流式分发。

# --- 1. 全局超参数与输入特征边界配置 ---batch_size = 128img_height, img_width = 175, 175 # 将原始水稻大图统一压缩到 175x175 分辨率，兼顾特征粒度与显存能耗input_shape = (img_height, img_width, 3)# --- 2. 实例化数据预处理矩阵生成器 ---# 显式引入以 255.0 为基准的缩放算子，将 [0, 255] 的物理像素值平滑平移至 [0.0, 1.0] 的标准浮点区间datagen = ImageDataGenerator(rescale=1./255)# --- 3. 动态流式构建训练集数据管道 ---train_ds = datagen.flow_from_directory(    'imgs/train',    target_size = (img_height, img_width),    batch_size = batch_size,    subset = "training",    class_mode='categorical') # 采用独热编码（One-Hot）模式适配多分类交叉熵损失# --- 4. 动态流式构建验证集数据管道 ---val_ds = datagen.flow_from_directory(    'imgs/val',    target_size = (img_height, img_width),    batch_size = batch_size,    class_mode='categorical',    shuffle=False)            # 严禁打乱顺序，保障验证阶段样本对照的绝对客观性# --- 5. 动态流式构建测试集数据管道 ---test_ds = datagen.flow_from_directory(    'imgs/test',    target_size = (img_height, img_width),    batch_size = batch_size,    class_mode='categorical',    shuffle=False)            # 锁定原始物理顺序，确保后续计算混淆矩阵时预测值与真值完全对齐

在深度学习流水线的构建中，为了能够以最低的代码解耦成本、在多模型（自定义 CNN 与 VGG16 融合网络）迭代完成后实时复盘其收敛品质，将可视化逻辑抽象为通用工具函数是标准规范的工程实践。模型在训练期间的损耗振荡与准确率爬升不仅是数理指标，更是网络内部数百万权重动态拟合物理特征的宏观投射。本阶段通过封装一个高度复用性的 plot_train_history 可视化组件，将 Keras 训练日志对象（history）中的核心指标动态提取，并在同一块物理画布上渲染出双子图对齐的收敛曲线，这让后续多架构横评中的过拟合与欠拟合诊断拥有了统一的研判工具。

# --- 6. 封装高复用性端到端训练轨迹监控可视化组件 ---def plot_train_history(history):    # 初始化一个 15x5 的宽屏画布，采用 1行2列 的排版拓扑    plt.figure(figsize=(15,5))    # =========================================================    # 左侧子图：多模型准确率（Accuracy）动态演进曲线    # =========================================================    plt.subplot(1,2,1)    plt.plot(history.history['accuracy'])      # 抽取训练集在各周期（Epoch）的命中率    plt.plot(history.history['val_accuracy'])  # 抽取验证集在各周期（Epoch）的全局泛化命中率    plt.title('Model accuracy')    plt.ylabel('accuracy')    plt.xlabel('epoch')    plt.legend(['train', 'validation'], loc='upper left') # 挂载图例，统一锁死在左上角区间       # =========================================================    # 右侧子图：多模型损耗率（Loss）平滑下降曲线    # =========================================================    plt.subplot(1,2,2)    plt.plot(history.history['loss'])          # 抽取训练集多分类交叉熵损失的变化轨迹    plt.plot(history.history['val_loss'])      # 抽取验证集多分类交叉熵损失的变化轨迹    plt.title('Model loss')    plt.ylabel('loss')    plt.xlabel('epoch')    plt.legend(['train', 'validation'], loc='upper left')    plt.show()

4.4CNN模型

4.4.1构建模型

在多网络融合方案的实施路径中，首先构建一个具备多级特征解析能力的独立原生模型作为性能基准（Baseline），对于客观量化后续微调网络的增益至关重要。针对稻米颗粒细长、边缘轮廓鲜明且变种间几何差异微弱的视觉特性，标准的浅层 CNN 往往难以捕捉其高级空间分布式特征。本阶段通过使用 Keras 的 Sequential 拓扑，搭建了一个高度规范的深度卷积神经网络。该网络采用多级“卷积（Conv2D）- 批归一化（BatchNormalization）- 最大池化（MaxPooling2D）- 随机失活（Dropout）”的积木式群组堆叠，逐步使感受野从小批次像素放大至宏观表型，并在末端通过双层全连接层完成高阶特征的非线性映射，最终指向基于 Softmax 的五分类概率输出。

# --- 1. 依托 Sequential 容器从零构建多级深度 CNN 网络 ---model_vanilla = tf.keras.Sequential([    # ---------------------------------------------------------    # 第一卷积组：捕获水稻边缘、色彩与细微纹理特征    # ---------------------------------------------------------    tf.keras.layers.Conv2D(32,(3,3), activation='relu', input_shape=input_shape),    tf.keras.layers.BatchNormalization(), # 规范特征分布，加速收敛    tf.keras.layers.Conv2D(32,(3,3),activation='relu',padding='same'),    tf.keras.layers.BatchNormalization(axis = 3), # 沿通道轴执行精准归一化    tf.keras.layers.MaxPooling2D(pool_size=(2,2),padding='same'), # 空间下采样，降低计算能耗    tf.keras.layers.Dropout(0.3), # 随机丢弃 30% 节点，抑制浅层过拟合    # ---------------------------------------------------------    # 第二卷积组：抽象提取中维空间解剖结构    # ---------------------------------------------------------    tf.keras.layers.Conv2D(64,(3,3),activation='relu',padding='same'),    tf.keras.layers.BatchNormalization(),    tf.keras.layers.Conv2D(64,(3,3),activation='relu',padding='same'),    tf.keras.layers.BatchNormalization(axis = 3),    tf.keras.layers.MaxPooling2D(pool_size=(2,2),padding='same'),    tf.keras.layers.Dropout(0.3),    # ---------------------------------------------------------    # 第三卷积组：高维复杂组合特征深度凝练    # ---------------------------------------------------------    tf.keras.layers.Conv2D(128,(3,3),activation='relu',padding='same'),    tf.keras.layers.BatchNormalization(),    tf.keras.layers.Conv2D(128,(3,3),activation='relu',padding='same'),    tf.keras.layers.BatchNormalization(axis = 3),    tf.keras.layers.MaxPooling2D(pool_size=(2,2),padding='same'),    tf.keras.layers.Dropout(0.5), # 随着网络加深，加大扰动抑制过拟合    # ---------------------------------------------------------    # 全连接决策输出层：多维特征展平与最终类目决策映射    # ---------------------------------------------------------    tf.keras.layers.Flatten(), # 破坏二维空间拓扑，将其扁平化为一维向量    tf.keras.layers.Dense(512, activation='relu'),    tf.keras.layers.BatchNormalization(),    tf.keras.layers.Dropout(0.5),    tf.keras.layers.Dense(128, activation='relu'),    tf.keras.layers.Dropout(0.25),    tf.keras.layers.Dense(5, activation='softmax') # 对应五大水稻品种的概率多分类输出])# --- 2. 配置优化器、多分类损失函数与硬性监控跑分跑分指标 ---model_vanilla.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])# --- 3. 打印网络全局拓扑结构，自检参数矩阵规模 ---model_vanilla.summary()

4.4.2训练模型

在深度学习的工程实践中，自动化回调（Callbacks）控制技术是保障大体量网络拟合效率、锁死最优权重资产的核心手段。由于水稻图像的全局特征较为规整，原生卷积网络在连续迭代过程中极易面临在特定鞍点“反复震荡”或因过度拟合训练集而丧失泛化力的技术瓶颈。本阶段通过在 Keras 环境下部署精细化的多轴协同回调防御链，实现了模型拟合状态的动态感知。代码集成了专职的模型节点固化算子（ModelCheckpoint）、自适应提早终止机制（EarlyStopping）以及动态学习率平滑衰减技术（ReduceLROnPlateau），在总设 40 个周期的迭代流水线上构建起自适应动态调谐体系，使网络的基准训练不仅具备硬件异常免疫力，更能在性能演进的最佳技术拐点处实现权重的自动拦截与封存。

# --- 1. 创建物理文件夹用以常驻固化优异模型资产 ---models_dir = "saved_models"if not os.path.exists(models_dir):    os.makedirs(models_dir)# --- 2. 部署全生命周期自动化回调控制链 ---# ModelCheckpoint 实时监控验证集准确率，自适应拦截并覆盖存储当前泛化判定上限的最优参数矩阵checkpointer = ModelCheckpoint(filepath='saved_models/model_vanilla.hdf5',                                monitor='val_accuracy', mode='max',                               verbose=1, save_best_only=True)# EarlyStopping 实时锁死验证集多分类损失，若连续 3 个周期未发生实质下降则强制熔断训练，防止过拟合early_stopping = EarlyStopping(monitor='val_loss', mode='min', verbose=1, patience=3)# ReduceLROnPlateau 监控指标高位盘整状态，若损失在 2 个周期内陷入停滞，则将学习率等比压缩 5 倍，引导网络向全局极值平滑收敛reduce_lr = ReduceLROnPlateau(monitor='val_loss', factor=0.2, patience=2, min_lr=0.001)# 将三大防御组件打包挂载至运行时管线callbacks=[early_stopping, reduce_lr, checkpointer]# --- 3. 触发端到端批处理张量拟合迭代 ---# 通过对生成器数据流的多轮吞吐，将训练历史轨迹完整存根至 history1 容器中history1 = model_vanilla.fit(train_ds, epochs = 40, validation_data = val_ds, callbacks=callbacks)

4.4.3评估模型

为了确保评估的绝对客观性，本部分首先显式读取在回调链期间固化下来的最优权重矩阵（避免最后一轮可能出现的过拟合残余参数），随后调用前期封装好的 plot_train_history 算子，一键还原模型在 40 个周期内的收敛进化形态。

# --- 1. 强行回溯并重载全生命周期中泛化表现最优的权重资产 ---model_vanilla.load_weights('saved_models/model_vanilla.hdf5')# --- 2. 激活高复用工具函数，双子图一键渲染损失与准确率轨迹 ---plot_train_history(history1)

本部分作为硬性量化的第一道防线，将重载最优权重后的基准模型直接推向完全不参与训练与调参的独立 test_ds 测试集管道，在线性流状态下产出整盘数据在大盘上的最终跑分。

# --- 3. 驱动最优网络切入完全独立的测试集管线进行全盘跑分 ---score1 = model_vanilla.evaluate(test_ds, verbose=1)

为了进一步深度挖掘模型在面对高度相似的水稻变种时是否产生了特征失焦，本部分首先调用 predict 提取所有测试样本的高维概率向量，通过 np.argmax 归一化为离散标签，随后结合 Seaborn 热图算子，将抽象的二维混淆矩阵转化为具备强视觉冲击力的色彩块阵列。

from sklearn.metrics import classification_report, confusion_matrix# --- 4. 提取测试集全盘高维预测概率向量矩阵 ---Y_pred = model_vanilla.predict(test_ds)# --- 5. 沿着通道轴提取概率分布最高的值作为最终离散判定标签 ---y_pred = np.argmax(Y_pred, axis=1)# --- 6. 交叉比对预测标签与物理真实标签，生成结构化频数矩阵 ---confusion_mtx = confusion_matrix(y_pred, test_ds.classes)# --- 7. 渲染 12x12 工业级精细多分类热度图 ---f, ax = plt.subplots(figsize=(12, 12))sns.heatmap(confusion_mtx, annot=True,     # 显式激活单元格数字标签回显            linewidths=0.01,               # 引入微型网格白边，增强各品类色块的分离度            linecolor="white",             fmt= '.1f', ax=ax,)            # 强制保留一位浮点数排版sns.color_palette("rocket", as_cmap=True)  # 配置高对比度的热图色彩映射尺# --- 8. 精准映射并固定横纵轴的水稻植物学变种英文标识 ---plt.xlabel("Predicted Label")plt.ylabel("True Label")ax.xaxis.set_ticklabels(test_ds.class_indices) # 动态获取生成器中的品类索引映射关系ax.yaxis.set_ticklabels(rice_classes)plt.title("Confusion Matrix")plt.show()

4.5VGG16模型

4.5.1构建模型

在完成了自定义基准网络的搭建与技术摸底后，项目正式切入高阶迁移学习与网络融合的核心阶段。为了突破浅层卷积架构在提取特征时感受野受限、难以敏锐察觉长粒米与短粒米微观质地差异的技术瓶颈，本阶段引入了在通用超大规模视觉数据集上历经深度拟合的经典 VGG16 骨架网络。通过将 VGG16 作为核心的高阶视觉特征提取器（包含经典的块状双重卷积与池化堆叠），并将其下游的全连接层分类头全面实施定制化重构，我们在 Keras 函数式 API（Functional API）的灵活拓扑支撑下，架设起了一套自适应的水稻多变种融合判别模型。

# --- 1. 动态加载 VGG16 预训练视觉骨干网 ---# weights="imagenet" 调取通用的高阶视觉先验；include_top=False 斩断其原有的千分类全连接头vgg16 = VGG16(weights="imagenet", include_top=False, input_shape=input_shape)# --- 2. 冻结骨干网络参数，锁死基础特征提取器 ---# 使得在后续的密集微调中，VGG16 的数百万个卷积权重保持常驻不更新，防止破坏已有的通用边缘感知力vgg16.trainable = False# --- 3. 基于 Keras 函数式 API 动态组装融合网络架构 ---inputs = tf.keras.Input(input_shape)                  # 显式定义静态张量输入边界# 将输入流推入 VGG16 骨架中，指定 training=False 确保其 Batch Normalization 等层的行为完全锁死x = vgg16(inputs, training=False)# 引入全局二维平均池化（GlobalAveragePooling2D），将三维特征图平滑降维压缩成一维高阶语义特征向量x = tf.keras.layers.GlobalAveragePooling2D()(x)# 挂载自定义的高维特征映射全连接层（Dense），提取适应当前水稻变种的特异性组合特征x = tf.keras.layers.Dense(1024, activation='relu')(x)# 顶层构建面向五大稻米类目的 Softmax 分类决策算子x = tf.keras.layers.Dense(5, activation='softmax')(x)# 封装输入输出端点，完成融合模型的物理实例化model_vgg16 = tf.keras.Model(inputs, x)# --- 4. 挂载优化器、损失函数与硬性评测跑分指标 ---model_vgg16.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])# --- 5. 打印全新融合网络的全局拓扑，自检微调参数规模 ---model_vgg16.summary()

4.5.2训练模型

本阶段复用了前述实验中建立的多轴自适应回调防御体系。通过在 Keras 管线中重新挂载包含模型节点固化算子（ModelCheckpoint）、自适应提早终止机制（EarlyStopping）以及动态学习率衰减技术（ReduceLROnPlateau）的协同组件包，代码能在确保原有视觉泛化底噪不被破坏的前提下，快速且定向地优化新接入的特征分类头参数。

# --- 1. 部署面向 VGG16 融合网络的全生命周期自动化回调控制链 ---# 实时监控验证集准确率，拦截并安全封存当前迁移学习形态下的最优泛化权重资产checkpointer = ModelCheckpoint(filepath='saved_models/model_vgg16.hdf5',                                monitor='val_accuracy', mode='max',                               verbose=1, save_best_only=True)# 监控验证集多分类损失，若连续 3 个周期未能向下突破则强制熔断，防止末端全连接层出现过度拟合early_stopping = EarlyStopping(monitor='val_loss', mode='min', verbose=1, patience=3)# 动态跟踪损失值的盘整状态，在指标陷入瓶颈时自动以 5 倍系数压缩当前学习率，保障极值收敛的平滑度reduce_lr = ReduceLROnPlateau(monitor='val_loss', factor=0.2, patience=2, min_lr=0.001)# 构建回调控制链容器callbacks=[early_stopping, reduce_lr, checkpointer]# --- 2. 触发全新融合模型的端到端批处理张量拟合迭代 ---# 通过并行高并发数据生成器，将该阶段的训练成长历史轨迹独立固化到 history2 历史历史容器中history2 = model_vgg16.fit(train_ds, epochs = 40, validation_data = val_ds, callbacks=callbacks)

4.5.3评估模型

在完成多模型并行演进的闭环训练后，将两个独立架构推向完全隔离的测试大盘开展对位横评，是定量判定迁移学习策略能否实现技术跨越的关键步骤。自定义基准模型与预训练 VGG16 融合模型由于在底层网络容量、感受野广度以及先验特征复用度上存在本质差异，其在未见物理样本上的表现将直接反映不同拓扑结构对水稻多表型特征的捕获上限。本阶段通过调用测试集流式评估算子，在线性流状态下产出融合网络的真实性能成绩，并与此前固化下来的基准数据实施硬核同框比对。

# --- 1. 激活高复用工具函数，渲染 VGG16 融合网络的损失与准确率演进轨迹 ---plot_train_history(history2)# --- 2. 驱动融合模型切入完全独立的测试集管线进行全盘跑分 ---score2 = model_vgg16.evaluate(test_ds, verbose=1)# --- 3. 打印双架构硬核同框对标报告，实现全盘性能的定量解构 ---print(f'Model 1 Vanilla Loss: {score1[0]}, Accuracy: {score1[1]*100}')print(f'Model 2 VGG16 Loss: {score2[0]}, Accuracy: {score2[1]*100}')

4.6模型融合

在深度学习的迁移学习范式中，当末端定制的分类头参数已经在特定的水稻图像特征空间中完成了初步的平稳对齐后，正式切入全局解冻与微调（Fine-tuning）阶段是实现模型性能逼近理论上限的压轴核心手段。如果说此前冻结 VGG16 卷积层是为了保护通用视觉先验，那么此时的解冻则是为了让网络具备“因地制宜”的特异性进化能力。本阶段通过解封 VGG16 全局数百万个卷积权重，并使用极具保守性的极小学习率重新编译模型，代码促使原本通用的滤波器逐步向水稻颗粒的微观长宽比、胚乳晶莹度及边缘弧度等专属植物学表型特征发生轻微的形变与适配，从而在计算图中彻底完成双网络的深度融合。

# --- 1. 全面释放 VGG16 骨干网络权重，激活全局可训练状态 ---vgg16.trainable = True# --- 2. 使用微型保守学习率重新编译融合模型 ---# 采用 1e-5 的精细步长，强力防范高阶参数在反向传播中被过大的梯度破坏或引发过拟合model_vgg16.compile(optimizer=keras.optimizers.Adam(1e-5),              loss='categorical_crossentropy', metrics=['accuracy'])# --- 3. 驱动解冻后的融合模型执行最终阶段的深度拟合迭代 ---# 复用前期的多轴自动化回调链，将最终微调的收敛历史轨迹完整存根至 history3 历史容器中history3 = model_vgg16.fit(train_ds, epochs = 40, validation_data = val_ds, callbacks=callbacks)

4.7模型评估

在全盘解冻 VGG16 卷积骨干并实施低学习率微调后，对整盘实验进行终极的模型效果大盘点，是验证网络融合策略能否完美封顶的技术终点站。经历了“从零训练基准 CNN（Model 1）”、“冻结骨干微调分类头（Model 2）”以及“全局全解冻精细微调（Model 2 Fine-tuned）”的三阶技术演进，我们需要在不带任何信息泄露偏置的独立测试大盘上进行全面的定量与定性透视。本阶段评估严格分为三代架构硬核跑分同框横评与终极融合模型多分类混淆矩阵可视化两个部分，以此科学印证深度微调在扫除变种间特征模糊度上的实战价值。

# --- 1. 驱动全解冻精细微调后的融合模型切入独立测试集管道进行全盘跑分 ---score3 = model_vgg16.evaluate(test_ds, verbose=1)# --- 2. 三代核心模型测试集损失值与百分制准确率同框大盘点 ---print(f'Model 1 Vanilla Loss: {score1[0]}, Accuracy: {score1[1]*100}')print(f'Model 2 VGG16 Loss: {score2[0]}, Accuracy: {score2[1]*100}')print(f'Model 2 VGG16 Fine-tuned Loss: {score3[0]}, Accuracy: {score3[1]*100}')

为了深度解析全局微调在剥离极其相似水稻变种特征时的本质功底，本部分利用测试集完成全盘前向推断，并通过高对比度的 Seaborn 热图组件将最终的五分类交叉判别结果映射至二维像素空间。

# --- 3. 流式提取全解冻融合模型在独立测试大盘上的高维置信度矩阵 ---Y_pred = model_vgg16.predict(test_ds)# --- 4. 沿类别通道轴收拢提取概率最大值的索引作为分类标签 ---y_pred = np.argmax(Y_pred, axis=1)# --- 5. 交叉演算预测标签与物理真实标签，生成结构化离散频数阵列 ---confusion_mtx = confusion_matrix(y_pred, test_ds.classes)# --- 6. 渲染 12x12 工业级精细多分类热度图 ---f, ax = plt.subplots(figsize=(12, 12))sns.heatmap(confusion_mtx, annot=True,     # 实时激活色块内部真实样本频数回显            linewidths=0.01,               # 引入微型网格白边，增强各品类色块的分离度            linecolor="white",             fmt= '.1f', ax=ax,)            # 强制保留一位浮点数排版sns.color_palette("rocket", as_cmap=True)  # 配置高对比度的热图色彩映射尺# --- 7. 精准映射并固定横纵轴的水稻植物学变种英文标识 ---plt.xlabel("Predicted Label")plt.ylabel("True Label")ax.xaxis.set_ticklabels(test_ds.class_indices) # 动态映射生成器中的原始品类索引ax.yaxis.set_ticklabels(rice_classes)plt.title("Confusion Matrix")plt.show()

4.8模型预测

在完成多模型对比演进与全局深度微调后，将抽象的独立测试集定量跑分转化为直观的、面向真实物理样本的端到端推断可视化，是检验模型在实际生产环境中能否真正落地的最终关卡。在智能化精准农业的实际分拣场景中，算法不仅需要具备极高的统计学大盘精度，更要在单包或单粒稻米的实时流式检测中表现出稳健的决策输出。本阶段通过直接从数据管道中提取小批次（Mini-batch）水稻物理张量，流式送入终极进化后的 VGG16 融合模型中，利用 Matplotlib 动态渲染出 3x3 的九宫格真实视窗，并将网络吐出的预测结论与临床级的物理真值进行同框对位碰撞，以最直观的可视化形态完成模型综合判别效能的终极自检。

# --- 1. 初始化 10x10 的多子图网格画布 ---plt.figure(figsize=(10, 10))# --- 2. 从数据流分发管线中异步截取单批次的物理图像张量与独热编码标签 ---x, label = train_ds.next()# --- 3. 循环触发 9 组真实样本的端到端流式推理与对位渲染 ---for i in range(9):    # 动态构建 3x3 的标准工业自检九宫格排版拓扑    plt.subplot(3, 3, i+1)        # 渲染当前单粒水稻样本的原生缩放图像矩阵    plt.imshow(x[i])        # 精确检索独热编码（One-Hot）标签中数值为 1 的物理索引，反解出其真实植物学名称    result = np.where(label[i]==1)       # 升维扩充：利用 tf.expand_dims 将单张 (H, W, C) 图像升维为模型所需的 (1, H, W, C) 批处理形态    predict = model_vgg16(tf.expand_dims(x[i], 0))        # 激活归一化：将模型末端输出的对数几率向量通过 Softmax 算子平滑转化为 [0, 1] 区间的概率分布    score = tf.nn.softmax(predict[0])        # 提取置信度最高通道的索引，并映射回对应的水稻英文类目名称    score_label = rice_classes[np.argmax(score)]        # 动态组装同框对比标签，实时回显物理真实类目（Truth）与网络预测结论（Prediction）    plt.title(f'Truth: {rice_classes[result[0][0]]}nPrediction:{score_label}')        # 隐去多余的二维像素坐标轴刻度线，最大化凸显稻米晶莹度与几何表型    plt.axis(False)

5.总结

本实验基于 Kaggle 包含 75,000 张高品质影像的水稻图像数据集，针对 Arborio、Basmati、Ipsala、Jasmine、Karacadag 五类大盘样本均衡的稻米品种，成功构建并验证了从零训练的自定义 CNN 基准网络（Model 1）与基于迁移学习的 VGG16 融合模型（Model 2）的技术可行性。

定量评测数据表明，自研的 Vanilla CNN 架构凭借紧凑的多级卷积与严密的批归一化设计，在测试集上跑出了 99.67% 命中率的高起点；而直接引入 ImageNet 预训练先验的经典 VGG16 冻结骨干方案同样表现稳健，取得了 99.42% 的大盘准确率。整个实验的核心技术突破发生于全局解冻后的多网深度融合阶段（Model 2 Fine-tuned），在0.00001级微型守恒学习率的诱导下，解封后的高级滤波器实现了向水稻细粒度植物学表型的二次空间对准，最终在独立测试集上录得仅为 0.0033 的极低交叉熵损耗以及高达 99.92% 的全盘分类命中率（88个批次流式吞吐仅耗时23秒）。

这一收敛品质与对角线几近完美的混淆矩阵相呼应，强有力地论证了“通用骨干迁移+两阶段微调融合”策略在作物品种智能化、无损化质检领域的压倒性算法优势，为现代精准农业的高并发实时分拣落地沉淀了极其严谨且具工业交付价值的工程参照。