FOA压测割接后少量用户语音呼叫失败的问题处理

故障现象

中兴通讯在进行FOA压力测试期间，上午10:05有少量用户反馈语音呼叫失败。

故障分析

1.10:05 接到客户反馈主叫无法呼出，被叫无法接听。

2.10:31 现场对SMF和AMF指标进行分析，未发现异常。

3.10:46 在SMF上去活用户，用户语音业务恢复正常。

4.10:52 通过对投诉用户号码跟踪分析，投诉用户都在UPF006上，分析可能是UPF006出现异常，紧急将UPF006隔离，隔离后未再收到批量用户投诉。

5.14:27 进一步分析系统日志和数据配置，判断是UPF006地址段路由问题。

6.统计UPF上失败日志，出现了大量IPv6地址展开时，同步UE地址段表失败记录，如下图所示。

7.分析该失败日志：a.trieTblAddUserIpSegV6：共有30725个IPv6展开地址段。b.trieTblAddUserIpSegV6Fail：有2043个IPv6地址段展开失败。

8.检查系统配置发现，系统后台配置IPv6拆分步长为“LONGLONG”，即步长为16384，如下图所示。

9.核心网地址步长的拆分方式为：a.UPF根据配置的地址段，按照展开步长将配置的地址拆分成小段。b.SMF负责用户地址的分配，当选择到一个从未分配过的新号段时，会以递增的方式先进行分配。会话释放后地址回收到队列中，当此号段所有地址全被分配完，会从队列内按序取出空闲地址继续分配。

10.经查询，现场BGP路由条目确认实际展开的IPv6地址步长是以1024拆分步长分段，此为默认步长，与后台配置不一致。

11.根据配置要求，当地址总量大于10万时需要修改配置为“LONGLONG”，即步长为16384。

12.通过如下命令设置，此命令需在执行后整局重启生效：SET SPLITLEN:SPLITSWITCH="ENABLE",IPV6SPLITLENGTH="LONGLONG";

13.查看UPF操作日志，2022/1/14 16:34:23修改了该配置之后，未进行全局复位操作，如下图所示。

14.综上分析，此故障发生原因为：配置修改了地址段拆分步长，但是未进行全局复位，导致了系统内部的IPV6_UEIP地址步段拆分存在部分失效。

15.用户上线附着后，IPV6_UEIP由SMF进行分配，SMF会根据已配置号段递增方式分配给UPF。当递增分配到无效的UEIP地址段时，UPF收到此UEIP媒体下行报文会因查询不到地址段表，对报文进行丢弃处理。

16.本次割接用户批量上线后，一旦用户使用了无效地址段时会导致语音业务媒体面下行报文不通，语音业务受到影响。

故障处理

1.优雅卸载UPF006在线用户。2.复位UPF006系统，使地址段表按当前配置生效。3.对UPF006系统进行巡检。4.调整SMF选U权重，压力测试用户重新指向UPF006。