AFCI 模型超参数管理实操：mlflow 一站式实验跟踪与优化

AI 神经网络训练中，学习率、batch size、帧长等超参数的调整直接影响模型准确率，而频繁实验后的参数对比、结果记录是优化关键。mlflow 作为机器学习生命周期管理工具，能统一记录实验参数、指标、模型文件，还支持可视化对比，大幅提升 AFCI 等 AI 项目的实验效率。本文基于 ST 官方 LAT1339 应用笔记，详解 mlflow 的核心功能、代码集成方法，以及在 AFCI 项目中的实战应用，适用于 TensorFlow、Keras 等主流框架。

1. mlflow 核心价值与组件

1.1 核心作用

• 统一管理：整合实验参数（如 batch size、采样率）、指标（如准确率、损失值）、模型文件（如.h5 权重文件），避免实验数据混乱；
• 可视化对比：通过 Web 界面直观对比多组实验结果，快速筛选最优超参数；
• 跨平台部署：生成标准化模型格式，支持 Docker、AWS SageMaker 等平台部署。

1.2 五大核心组件

• MLflow Tracking：记录实验参数、软件版本、测试环境，是核心功能；
• MLflow Models：标准化模型格式，适配多部署平台，支持推理时间计算；
• MLflow Model Registry：中心化模型商店，提供 API 与 UI 管理模型版本；
• MLflow Projects：标准化代码打包格式，支持多参数重复运行；
• MLflow Recipes：预定义模型开发模板（分类 / 回归），快速搭建高质量模型。

2. mlflow 代码集成：自动与手动记录

2.1 自动记录（autolog）：快速上手

1. 导入库并启用自动记录，以 Keras 为例：

import mlflow
mlflow.tensorflow.autolog()  # 置于训练脚本最前方

2. 运行训练脚本，mlflow 会自动生成mlruns文件夹，保存每次实验的：
   • 参数（24 项默认记录，如 batch size、epochs、学习率、优化器类型）；
   • 指标（6 项默认记录，如训练准确率 acc、验证准确率 val_acc、损失值 loss）；
   • 模型文件（默认保存最后一次迭代的模型）。
3. 启动 Web 界面查看结果：在mlruns所在目录执行mlflow ui，浏览器访问http://127.0.0.1:5000，可查看实验列表、指标图表对比。

2.2 手动记录：灵活定制

（1）记录参数（超参数、数据配置等）

# 记录AFCI项目的关键配置：数据类型、采样率、帧长等
mlflow.log_params({
    "data_type": "raw/fft",  # 原始数据/FFT预处理
    "sample_rate": 200000,   # 采样率（200KHz）
    "points": 2048,          # 帧长
    "feature_path": "./features",
    "data_list": DATA_LIST
})

（2）记录指标（测试集准确率、精准率等）

# 评估测试集性能并记录
score = model.evaluate(X_test, Y_test, verbose=2)
mlflow.log_metric("Test_accuracy", score[1])  # 测试准确率
mlflow.log_metric("Test_loss", score[0])      # 测试损失值

# 记录精准率、召回率、F1-score
from sklearn.metrics import precision_score, recall_score, f1_score
Y_pred = np.argmax(model.predict(X_test), axis=1)
Y_test = np.argmax(Y_test, axis=1)
mlflow.log_metric("Precision", precision_score(Y_test, Y_pred))
mlflow.log_metric("Recall", recall_score(Y_test, Y_pred))
mlflow.log_metric("F1_score", f1_score(Y_test, Y_pred))

（3）记录模型文件（保存最佳模型）

# 保存验证效果最佳的模型到mlflow
mlflow.log_artifact("./best_model.h5")  # 传入模型文件路径

3. AFCI 实战：超参数优化案例

3.1 实验设计

• 数据：ADC 原始数据（400KHz 采样率），降采样得到 200KHz 数据；
• 变量：数据预处理（FFT / 无 FFT）、帧长（512/1024/2048/4096）、采样率（200KHz/400KHz）；
• 固定条件：相同数据集、相同网络模型，确保实验公平性。

3.2 关键测试结果

（1）FFT 预处理的影响

• 结论：使用 FFT 预处理后，模型准确率更稳定（Precision≈0.995-1.0，Recall≈0.987-0.992）；
• 对比：原始数据虽能达到高准确率，但参数敏感，稳定性较差。

（2）帧长的影响

• 结论：帧长 2048 时性能最优（Precision、Recall 均最高）；
• 优势：相比 4096 帧长，2048 可节省大量 RAM 空间，缩短推理时间。

（3）采样率的影响

• 结论：200KHz 采样率比 400KHz 更稳定，且能减少数据存储压力；
• 关键发现：超参数并非 “越大越好”，合理选择可平衡性能与硬件资源。

4. 核心总结

1. mlflow 简化 AI 实验管理：自动 / 手动记录双模式适配不同需求，Web 界面直观对比超参数影响，避免实验数据混乱；
2. AFCI 超参数优化关键：FFT 预处理提升稳定性，2048 帧长 + 200KHz 采样率是兼顾性能与资源的最优组合；
3. 实验设计原则：固定单一变量、保证数据质量，才能得到可靠的超参数结论，避免实际部署与测试差异。