A06B-6079-H203

A06B-6079-H203

A06B-6079-H203模型测试

针对模型测试，重点关注模型的功能测试、性能测试、模型指标的评估及指标结果分析。

采取方法：采取A/B测试、鲁棒性测试、离线测试、在线测试等手段，评估模型的可靠性及稳定性。

离线测试/在线测试：历史数据进行离线环境训练与测试评估，生成离线模型版本。为确保模型服务稳定性，需要对模型进行线上线下一致性验证、模型线上稳定性验证测试。

一致性测试：使用同一批样本分别在离线与在线环境下请求模型服务，系统对模型服务决策结果进行对比分析。

稳定性测试：采用线上新样本请求模型，根据模型的决策结果对模型进行评估。模型评估指标参考：KS、ROC等。

A/B测试：算法模型在确保稳定性时会迭代产生多个版，在线服务如使用模型A进行决策，当要进行模型版本迭代时，需要在离线环境下训练出模型B,然后将其部署到线上环境，分析在线与离线的A/B测试结果，通过转化率等方式辅助决策使用哪个版本。

A06B-6079-H203