【導讀】在2026年上海世界移動通信大會(MWC上海)期間,羅德與施瓦茨(以下簡稱'R&S')與中國移動研究院聯(lián)合展示了基于生成式AI的創(chuàng)新測試解決方案。該方案依托 CMX500一體化信令測試儀,首次實現(xiàn)了在不同網絡條件下對端側生成式AI用戶體驗的量化測量,開創(chuàng)了生成式AI用戶體驗測試領域的先河。
生成式AI,顧名思義就是利用大語言模型生成用戶所需的內容包括文字,圖片,視頻等。隨著大語言模型以及相關算力和應用的迭代發(fā)展,網絡中各種終端,例如手機、AI眼鏡、機器人使用生成式AI的業(yè)務越來越多,但是對于生成式AI方面的測試系統(tǒng)目前較為缺乏,業(yè)內還沒有一套成熟的指標和測試標準體系評估用戶體驗。3GPP、GTI等組織正在展開相關的研究工作。
此次聯(lián)合展示的生成式AI用戶體驗測試床正是為解決上述挑戰(zhàn)而設計。在測試系統(tǒng)架構中,大語言模型部署于服務器端(或者云端),CMX500一體化信令測試儀與裝載了客戶端測試應用的智能終端建立無線連接。CMX500可靈活配置網絡參數、信道衰落模型、時延抖動、射頻損傷等,真實模擬從理想覆蓋到弱場邊緣的各類無線環(huán)境。通過終端側應用軟件輸入問題并接收大模型的推理響應,計算首Token到達時間(TTFT)、每秒Token生成數(TPS)等核心指標,并通過上位機軟件采集分析測量數據,生成相應的圖表。這一方法使得端側的生成式AI應用在不同網絡條件下的用戶體驗可被量化、比較,可以用來優(yōu)化端側生成式AI的應用設計,也為將來的網絡優(yōu)化提供了參考。

圖:生成式AI測試床系統(tǒng)框架
作為本次測試方案的核心平臺,CMX500是一款一體化信令測試儀,支持SA/NSA雙模架構、FR1至FR3頻段覆蓋(最高18 GHz),內建IMS服務器,可一站式完成射頻一致性、協(xié)議棧驗證、VoNR聲學及載波聚合測試,是面向5G-Advanced和6G研發(fā)的核心測試平臺。
中國移動集團級首席專家、中關村泛聯(lián)院首席科學家劉光毅表示:“面向6G智慧泛在愿景,移動通信網絡正超越傳統(tǒng)通信范疇,通過網絡內生算力,為用戶提供無處不在、超低時延的智能服務。這一網絡服務范式的轉變,也對新型網絡AI服務指標體系和測試方案提出了更高要求。在此背景下,R&S與中國移動研究院聯(lián)合共建測試床,已成功實現(xiàn)生成式AI用戶體驗在不同無線環(huán)境下的測試驗證。未來,雙方計劃進一步擴展測試指標與應用場景,為6G賦能AI技術的演進與驗證,以及測試標準的制定等提供有力支撐。”
羅德與施瓦茨產品與系統(tǒng)部高級總監(jiān)金海良表示:'在大語言模型的高速發(fā)展時代,R&S和中國移動研究院聯(lián)合開發(fā)的測試床,為業(yè)內大家關注的生成式AI的用戶體驗測試方法樹立了標桿。我們很高興此次能夠與中國移動研究院聯(lián)合展示這一成果。相信未來基于這一測試架構,雙方能夠衍生出更多的測試場景和行業(yè)范式,進一步推動生成式AI用戶體驗測試的標準化,為6G AI時代的到來做好充分的技術儲備。



