网络优化中的电信大模型

译者案：IEEE通信学会（ComSoc）发布的《电信领域大规模AI应用——创新、规模化落地与数字体验升级路线图》（LARGE-SCALE AI IN TELECOM——Charting the Roadmap for Innovation, Scalability, and Enhanced Digital Experiences）白皮书，为行业指明了一条融合生成式AI与电信大模型（LTMs）的革命性路径。

本文摘选翻译白皮书第8.5章内容，翻译不准确之处，敬请谅解。关注公众号【5G行业应用】，回复“260415”可下载白皮书原文

8.5 网络优化中的电信大模型

8.5.1 电信大模型交互赋能的强化学习

在现代电信网络中，用户体验质量的优化至关重要。传统方法主要依赖时延、数据速率、丢包率等客观指标，往往无法全面捕捉用户精细化的主观体验。这一差距，推动我们设计一套更全面的方案，融合主观体验质量评估，真正实现用户满意度的提升。而电信大模型，已成为实现这一目标的强大工具。这类模型可作为用户的智能代理，在网络管理场景中模拟用户交互，填补客观性能指标与主观用户体验之间的鸿沟。

在本案例研究中，我们考虑了一项网络辅助的图像生成服务，不同用户基于个人偏好与经历，对同一张图像的感知可能存在巨大差异。例如，即便是生成“桌子上的狗” 这类图像，最终生成的图像风格也可能千差万别，不同用户对这些风格有着截然不同的偏好。捕捉并响应用户的这些偏好，是下一代网络服务优化服务交付的核心。但收集与分析海量用户行为数据以理解这些偏好，会引发严重的隐私安全问题。

为应对这些挑战，大语言模型交互赋能的强化学习（RLLI），是一种专为人工智能生成内容（AIGC）服务优化体验质量的创新方案。该方案利用部署在智能手机等边缘设备上、大语言模型赋能的生成式智能体，在不损害隐私的前提下，模拟多样化的用户偏好。这些智能体基于大五人格特质的提示词完成初始化，能够模拟广泛的用户偏好与行为。

RLLI 系统的运行流程为：将生成的图像呈现给大语言模型智能体，智能体基于模拟的用户人格对图像进行评估，输出主观体验质量分数，作为深度强化学习（DRL）算法（例如近端策略优化，PPO）的奖励值。随后，深度强化学习算法学习最优策略，选择对应的 AIGC 服务提供商（ASP），实现所有用户整体体验质量的最大化。

这种创新方案，无需将敏感的用户数据传输至中心服务器，即可实现个性化服务交付，同时解决了体验质量优化与隐私保护两大核心问题。通过大语言模型赋能的智能体融合主观体验质量评估，RLLI 填补了客观网络性能指标与用户主观体验之间的鸿沟。实验结果表明，在最大化用户体验质量方面，RLLI 的性能优于随机选择、基于深度 Q 网络（DQN）的算法等基准方法，展现出其在下一代网络服务中提升服务交付能力的巨大潜力。

8.5.2 面向网络优化的流量预测

移动网络优化，是指在服务质量与能耗性能约束下，确定能够实现成本最小化的网络配置（参数、资源分配等）的过程。网络性能高度依赖流量情况，因此精准掌握流量信息，是实现高效优化过程的核心。

学术界已提出了大量优化方案，其中绝大多数都假设能够完全掌握流量信息，且网络可对流量变化实现瞬时适配。但部分优化场景需要对网元进行重配置，例如为网络切片开通 / 适配调整参数集、唤醒深度休眠模式的资源。这类场景需要精准的流量预测，从而在不同时间尺度上提前规划优化动作，同时融入空间维度信息。

近年来，大语言模型已被扩展至时间序列预测领域，并取得了极具前景的成果。相关研究的作者提出，当前的大语言模型有望彻底革新时间序列分析领域，推动更高效的决策制定，向更通用的时间序列分析智能演进。此外，相关研究表明，在自然语言处理或图像分析任务上预训练的模型，在包括预测在内的各类时间序列分析任务中，能够达到媲美甚至超越当前最优水平的性能。这一结果表明，大语言模型具备卓越的跨领域知识迁移能力。

开发面向时间序列分析的预训练模型，核心挑战在于缺乏大规模训练数据。而亚马逊的团队，通过收集海量数据库并执行数据增强，基于 T5 架构，预训练了一套面向时间序列预测的模型家族，命名为 Chronos。这类模型在已观测数据集上的性能，超越了传统方法与深度学习方法。

Chronos 的核心设计理念是：预测下一个 token 的语言模型，与预测时间序列下一个数值的模型，本质上并无太大差异。仅需要将数值的无限连续域，转换为有限域 —— 更准确地说，是大语言模型使用的 token 字典。换言之，Chronos 通过对真实数值进行简单的缩放与量化，将时间序列 token 化至离散的区间中，从而创造出一套 “时间序列语言”。

我们基于未参与模型训练的数据集，评估了 Chronos 的预测性能，即零样本预测能力。具体而言，我们获取了法国拉罗谢尔市约 20 个基站，按周聚合的流量数据（单位：Mbit/s），目标是预测每个站点的未来流量数值。

在查看仿真结果前，行业通用的做法是定义一个基线模型，用于确定更复杂模型需要超越的最低性能水平。ARIMA（自回归积分滑动平均模型）是网络流量预测中应用最广泛的统计技术，而其捕捉季节性的变体模型 SARIMA，也被广泛应用。ARIMA 模型通过考虑时间序列的滞后值，同时兼顾数据的非平稳性，实现预测。仿真结果如表 17 所示。

可以发现，参数量的多少，并非始终与性能正相关。事实上，Base 版本模型（2 亿参数量）的性能，优于 Large 版本模型（7 亿参数量）。这很可能是因为，参数量更大的模型，具备更强的从训练数据中学习的能力，包括噪声或小幅波动，从而引发过拟合 —— 模型在训练数据上表现优异，但在未见过的测试数据上性能下降。

该方案的一大核心缺陷，在于它仅对数据的时间维度进行建模，而相关研究的结果表明，在单变量时间序列场景中，移除大语言模型组件，或将其替换为基础的注意力层，并不会对预测结果产生负面影响。目前，该研究尚未涉及多变量时间序列场景。而在我们的场景中，从直观角度来看，如果一个基站的流量出现骤增或骤降，其相邻基站极有可能出现相同的变化。

因此，我们将研究重点聚焦于时空大语言模型（ST-LLM），该模型最早由相关研究提出，用于预测城市中的自行车与出租车流量。尽管我们的研究目标是数据流量预测，但评估这类模型在我们的时间序列数据上的性能，仍具备重要价值。我们在图 35 与图 36 中，绘制了时空大语言模型对 1 号与 20 号站点的观测流量与预测流量的叠加曲线，站点选择为完全随机。

图 35：1 号站点的流量预测结果

图 36：20 号站点的流量预测结果

通过查看所有预测曲线，我们发现部分站点的预测效果较差。查看该站点的地理位置后发现，该站点处于“孤立” 状态（图 37），即相邻站点极少，且与相邻站点的距离较远。由此我们提出假设：该模型的设计目标是捕捉空间依赖关系，而当场景中几乎不存在可捕捉的空间依赖时，模型的适配效果会大幅下降。

图 37：孤立站点的预测结果

尽管 Chronos 的整体性能优于时空大语言模型，但需要注意的是，Chronos 的预训练使用了超过 840 亿条观测数据，而时空大语言模型的预训练数据仅不到 100 万条。

表 17：不同模型的均方根误差（RMSE）对比

接下来，我们分析了大语言模型实现长期精准预测的能力。查看时空大语言模型在不同预测时长下的性能（表 18）可以发现，当预测时长设为 2 时，其性能就已弱于 SARIMA 模型。性能的下降符合预期，但需要注意的是，预测时长设为 2，相当于对未来 2 周的流量进行预测，而季节性在该场景中发挥着重要作用。因此可以推测，对于更短的预测时长（例如秒级），均方根误差的下降速度会更慢。此外，基于网络流量数据对时空大语言模型进行重新训练，而非当前的零样本方案，也是提升预测精度的极具潜力的方向。

表 18：不同预测时长下，时空大语言模型的预测性能对比

8.5.3 生成式人工智能求解复杂优化问题

人工智能领域中，生成式模型展现出的强大多模态数据生成能力，使其在电信领域的无线信道编码、数据特征提取等任务中得到了应用。尽管这类模型取得了显著成果，但往往忽视了生成式模型与判别式模型之间的核心区别：生成式模型学习的是数据的联合概率分布P(x,y)，而判别式模型聚焦于学习条件概率分布P(y∣x)。这一差异，让生成式模型特别适配网络优化问题中高质量解空间的多模态特性，能够生成比判别式模型更优的预测结果。

网络优化是电信领域的常见挑战，尤其是在涉及感知、通信、计算、控制一体化的场景中。这类任务通常需要制定最优的资源分配策略，在特定的网络参数与约束条件下，最大化或最小化目标函数。由于这类问题的复杂性，高质量解在解空间中会形成概率多模态分布，而其概率密度函数通常是未知的。判别式模型因其确定性本质，在学习这类复杂分布方面能力受限。

与之相对，基于输入数据学习解空间的分布特征，能够提供更广阔的全局视角，从而得到更优的解。值得注意的是，解空间中高质量解的分布具备结构化特征：这类解与最优解的性能差距极小。在该分布中，最优解的概率最高，其次是其他高质量解，而非高质量解的概率趋近于 0。

将单一输出解转化为高质量解的分布这一理念，已在近期针对旅行商问题（TSP）、最大独立集（MIS）问题这两个经典组合优化问题的研究中，得到了成功验证。值得关注的是，相关研究首次定义了解空间分布的参数化方法，为神经网络学习提供了连续可微的输出目标。

目前，直接将生成式模型作为优化求解器的相关研究仍较少。例如，已有研究探索了利用大语言模型求解可微的简单约束优化与线性优化问题，通过迭代生成可行解，并基于人类对每个生成解质量的反馈，逼近最优解。但当前大语言模型在处理高维问题时仍面临挑战，其性能往往无法覆盖训练与推理的实际成本。

与此同时，扩散生成式模型也被作为优化求解器开展了相关研究。例如，相关研究将图扩散生成式模型，应用于求解旅行商问题与最大独立集问题。但这类问题的目标函数与约束条件相对简单，扩散模型在更复杂的网络优化问题中的应用，仍有待充分探索。此外，其他研究利用扩散模型，生成纯凸优化问题的解。这类研究大多未从学习高质量解分布的视角切入优化问题，也没有充分发挥扩散生成式模型作为独立求解器，解决网络优化问题的潜力。

扩散模型是一类生成式模型，其核心原理是向真实数据中逐步添加噪声，并学习每一步的去噪过程。加噪过程的最终结果，是将原始数据转化为完全含噪的数据，例如通过持续添加标准高斯噪声，直至数据符合纯高斯分布。模型学习不同噪声水平下的数据去噪方法，对受污染的数据进行持续优化，直至得到干净的数据。在我们的网络优化问题场景中，扩散模型加噪与去噪阶段处理的数据，代表优化问题的解。

图 38：计算卸载（CO）、多信道和速率最大化（MSR）、非正交多址接入无人机系统（NU）问题的去噪过程

注：子图的每个坐标轴代表一个一维优化变量，每个解点的颜色对应其目标函数值。第一列中，CO 与 MSR 问题展示了初始去噪方向，而 NU 问题因其分层非凸特性，未展示初始去噪方向。

多模态分布，是指概率密度函数存在多个不同峰值的分布（例如高斯分布与拉普拉斯分布的混合分布），其精确的概率密度函数通常难以推导。现有研究表明，无论是理论评估还是工程验证，扩散模型的泛化误差，相对于训练样本数量与模型容量，呈多项式级别的小幅增长，而非指数级的大幅增长。这避免了维度灾难，支撑扩散模型在更广泛的问题中落地应用。

为探索并验证扩散模型针对具备复杂目标函数与约束条件的网络优化问题的解生成能力，我们设计了一套全新的框架—— 基于扩散模型的解生成（DIFFSG），并针对多个典型的网络优化问题开展了探索性实验。具体而言，我们选取了三个场景：以最小化任务时延与功耗的总加权成本为目标的计算卸载（CO）、多信道和速率最大化（MSR）、非正交多址接入无人机系统中的和速率最大化（NU）。我们完全沿用了这三个网络优化问题的原始模型。

我们采用经典的去噪扩散概率模型（DDPM）完成模型实现。从图 38 可以看出，我们提出的 DIFFSG 框架，在各类优化问题中均实现了有效收敛，将直接推理最优解的目标，转化为对高质量解分布的拟合。同时，其优化性能超越了原始研究的结果，详见相关文献。

图 39：不同采样次数 n 与变量维度 N 下，命中最优解 y * 的期望 q (n)

注：虚线代表 n 的理论下界，其中红色虚线与蓝色虚线重合。

在验证了扩散模型针对复杂网络优化问题的解生成能力后，我们进一步探索了模型的底层理论与设计。我们解答了“为何要学习、以及如何学习高质量解分布” 这一核心问题，并给出了为达到最优解，对该分布所需采样次数的理论下界。这一理论基础，让生成式模型能够学习次优解，并通过采样向最优解逼近。

在此基础上，我们提出了一套问题建模方法，将一大类网络优化问题重构为图优化任务，并设计了基于图扩散的解生成（GDSG）模型。在实验评估中，我们将其应用于多服务器多用户（MSMU）计算卸载问题 —— 这是一个同时包含分类与回归任务的多任务 NP 难问题。

如图 39 所示，我们证实了，增加采样迭代次数 n，能够让命中最优解的期望概率 E (q (θ n)) 趋近于 1，保障了模型的收敛性。与串行采样相比，并行采样通过加速神经网络矩阵运算，大幅降低了计算成本，使其在实际应用中具备可行性。

此外，我们实现的 GDSG 模型，在边缘分类与边权重回归两个任务之间，实现了接近 100% 的任务间正交性，即训练过程中，两个任务在同一参数上的损失梯度是正交的，这得益于扩散模型损失函数的设置。在优化性能方面，GDSG 模型仅需不到 20 次采样，就能以小于 10% 的误差逼近最优解，详见相关文献。

综上，我们将扩散生成式模型应用于复杂网络优化问题的解生成，不仅提供了理论层面的收敛保障，还通过多种实际工程实现完成了实证验证，充分展现了该方法的巨大潜力。

8.5.4 面向网络优化的无先验知识大型电信模型

传统的网络管理算法，高度依赖系统模型的先验知识与特定的网络场景。而行业对通用优化框架的需求日益增长，即单个优化模块能够无缝适配多样化的网络管理任务，无需依赖系统特定信息。这就需要无先验知识的优化技术，其运行独立于目标函数、系统参数、网络配置等场景专属细节。该方法的核心挑战，在于开发一款超智能的黑盒优化器，能够通过自身的推理机制，制定高效的决策策略。

无先验知识优化方法的潜在候选方案，包括遗传算法（GA）与强化学习方法。这类方法无需依赖数学模型，而是基于随机搜索机制或神经网络，构建优化智能体。但要在这类方法中开发高效的智能体，需要大量的人工参与，包括超参数调优、训练流程设计，且必须针对每个独特的网络配置与性能指标，进行高度定制化的设计。因此，传统方法的泛化能力较弱，难以适配未来无线网络多样化、动态化的特性。

而近期出现的大语言模型优化器技术，能够解决这类挑战，如图 40 所示。该方案将预训练大语言模型作为优化模块，基于决策历史生成新的解。

图 40：无先验知识的大语言模型优化器

为实现无先验知识运行，设计的输入提示词排除了所有系统特定知识，例如数学模型、信道状态信息、应用场景，仅包含自然语言描述的简单任务说明（例如优化目标为最大化 / 最小化、解的维度、约束条件）、过往决策及其目标函数值、期望的输出格式。

大语言模型的输出，通过函数评估器进行评估，生成的“解 - 目标函数值” 对，存储在内存单元中。随后从内存中采样最优的候选解，用于生成下一轮的输入提示词。重复该流程，直至模型收敛。

小样本学习能力，是无先验知识大语言模型优化器框架的核心组件—— 预训练大语言模型，可通过提示词中的少量示例，适配未见过的任务。在输入提示词中，最优的 “解 - 目标函数值” 对，作为解决目标网络管理问题的小样本示例。这让大语言模型能够在不调用任何先验信息的前提下，掌握优化问题的底层特征。通过这一小样本学习过程，大语言模型能够逐步优化决策，生成效果持续提升的解，实现目标函数值的优化。

内存中效果最优的动作会被提取出来，在后续迭代中重新输入到提示词中。这种自反馈循环，让大语言模型能够通过学习历史目标函数值，迭代优化决策。其中实现的多步推理机制，体现了思维链过程，即通过一系列中间推理步骤引导大语言模型，在无需任何问题特定信息的前提下，提升大语言模型优化器的决策能力。

目前，已有的研究验证了大语言模型优化器技术，在求解旅行商问题、多目标优化、无线资源管理任务中的可行性。尤其是相关研究，深入探索了大语言模型优化器的无先验知识优化能力。在不提供目标函数的数学模型、信道状态信息的前提下，基于大语言模型优化器得到的无线资源分配方案，性能与基于模型的优化算法完全一致。

我们评估了基于 GPT 的大语言模型优化器，在双用户干扰信道的发射功率控制任务中的性能，优化目标为最大化最小速率。对应的最大最小速率问题建模如下：

maximizemin(log(1+1+h21x2h11x1),log(1+1+h12x1h22x2))(37)

subjectto 0≤x1≤1and0≤x2≤1(38)

其中，hij代表发射机 i（i=1,2）到接收机 j（j=1,2）的信道增益，xi代表发射机 i 的发射功率。输入提示词的设计如图 41 所示。我们要求 GPT-4，基于按目标函数值降序排列的过往 “解 - 目标函数值” 对小样本示例，生成 8 个新的解向量。输入提示词中，未包含任何关于网络配置、信道增益、目标函数闭式表达式的说明。

图 41：输入提示词示例

图 42：最大最小速率目标函数

图 42 展示了特定随机信道增益下，最大最小速率目标函数的分布。该任务的全局最优解为[x1∗,x2∗]=[1,0.306]，对应的最优值为 0.742 bps/Hz。在初始化阶段，我们向 GPT 输入了 4 个与全局最优解距离较远的候选解。

图 43：大语言模型优化器生成的解

图 44：最大最小速率性能随迭代轮次的变化

图 43 绘制了大语言模型优化器方法，在不同迭代轮次生成的发射功率控制解。在第一轮迭代中，大语言模型优化器在初始点附近，以梯形分布生成了新的解向量，通过这种方式推断目标函数的上升方向。在后续迭代中，新生成的解落在了与梯度上升方向对应的直线范围内。大语言模型优化器进一步利用该搜索方向，定位全局最优解。第 10 轮迭代生成的解，已非常接近全局最优点。

图 44 绘制了最大最小速率性能随迭代轮次的变化情况。对于大语言模型优化器，我们绘制了 5 次独立运行中的最优目标函数值。可以看出，大语言模型优化器的最大最小速率性能，随迭代轮次的增加逐步提升。尤其是在迭代初期，性能提升速度极快。但在第 6 轮迭代后，模型陷入了局部最优点，性能不再提升。这种早熟现象，是大语言模型优化器技术面临的核心挑战，可通过同时调用多个大语言模型的方式解决。

目前，大语言模型优化器仍处于早期研究阶段，需要进一步的研究，以全面理解其在多样化网络场景与复杂优化问题中的最优性与优势。尤其是解决早熟收敛等局限性，系统验证多模型协同方案的有效性，是后续的核心研究方向。这些研究工作，将推动大语言模型优化器，成为传统基于知识的优化方法的实用、可扩展替代方案或补充方案。

▎好书推荐

本书由吴冬升、李大成担任主编，机械工业出版社出版。书中在分析智慧城市重点建设内容和智能网联汽车重点发展内容基础上，进一步探讨智慧城市与智能网联汽车融合发展带来的车联网智能道路基础设施、新型能源基础设施、地理位置网、现代信息通信网、车城网平台建设和发展情况。并且介绍智慧城市与智能网联汽车融合创新发展的相关案例。

吴冬升 博士