愛(ài)奇藝網(wǎng)絡(luò )控制和抓包測試技術(shù)實(shí)踐

導語(yǔ)

移動(dòng)互聯(lián)網(wǎng)時(shí)代，網(wǎng)絡(luò )形態(tài)呈現三大特點(diǎn):

（1）多樣的接入網(wǎng)絡(luò )：2G/3G/4G/Wi-Fi，不同的協(xié)議，不同的制式，不同的速率。

（2）復雜的現實(shí)場(chǎng)景：空曠的大街，擁擠的體育場(chǎng)，飛馳的汽車(chē)，地下穿梭的地鐵。

（3）動(dòng)態(tài)的隨機變化：強網(wǎng)、弱網(wǎng)、無(wú)網(wǎng)，下一刻的網(wǎng)絡(luò )不確定會(huì )怎樣。

愛(ài)奇藝測試團隊結合視頻播放異常場(chǎng)景的網(wǎng)絡(luò )模擬需求，在開(kāi)源方案 ATC（Augmented Traffic Control）的基礎上，定制開(kāi)發(fā)動(dòng)態(tài)配置能力，優(yōu)化了 API 接口，實(shí)現了 QTC 工具（QIYITraffic Control），可模擬網(wǎng)絡(luò )的動(dòng)靜態(tài)復雜變化；同時(shí)，實(shí)現了一種低損耗的自動(dòng)化網(wǎng)絡(luò )抓包方案，支持高精度性能測試場(chǎng)景的網(wǎng)絡(luò )抓包和數據分析，基本不影響網(wǎng)絡(luò )自身傳輸質(zhì)量。

以下文章與大家一起交流、探討。

背景

在功能測試方面，異常網(wǎng)絡(luò )環(huán)境下保證產(chǎn)品功能正確性和保護用戶(hù)體驗，是互聯(lián)網(wǎng)產(chǎn)品交付的重要指標，需要高可用的網(wǎng)絡(luò )控制工具在實(shí)驗室環(huán)境模擬各種現實(shí)異常網(wǎng)絡(luò )場(chǎng)景。目前市場(chǎng)上的工具大概分為兩類(lèi)：一是硬件控制，如網(wǎng)絡(luò )損傷儀；二是軟件控制，商業(yè)軟件如 Fiddler 與 Charles，開(kāi)源軟件如 ATC 與 clumsy 等。硬件方案可提供高精度的動(dòng)態(tài)網(wǎng)絡(luò )控制但成本較大，同時(shí)二次定制開(kāi)發(fā)難度偏高；軟件方案成本低且精度略差，同時(shí)難以模擬動(dòng)態(tài)網(wǎng)絡(luò )。

在性能測試方面，開(kāi)播時(shí)間是視頻類(lèi) APP 重要的性能指標之一，衡量的是用戶(hù)等待開(kāi)播的延遲，常規線(xiàn)下測試是收集多次開(kāi)播時(shí)間數據，經(jīng)過(guò)數據處理得出一個(gè)線(xiàn)下測試的開(kāi)播時(shí)間與歷史值比較，是 APP 版本上線(xiàn)前都要測試的內容。

遇到的問(wèn)題

1. 需要一個(gè)穩定模擬指定的、持續動(dòng)態(tài)變化的網(wǎng)絡(luò )的工具

通過(guò)對網(wǎng)絡(luò )環(huán)境建模，任意現實(shí)場(chǎng)景都可以劃分成強網(wǎng)、弱網(wǎng)、無(wú)網(wǎng)狀態(tài)，并量化成帶寬、時(shí)延、丟包、抖動(dòng)、誤碼等核心指標。 一個(gè)理想的網(wǎng)絡(luò )控制工具，就是根據量化指標數據的連續輸入，持續模擬網(wǎng)絡(luò )的動(dòng)態(tài)變化 （根據線(xiàn)上問(wèn)題分析，大部分問(wèn)題發(fā)生在網(wǎng)絡(luò )變化的時(shí)機）。

2. 需要一個(gè)穩定的低干擾的自動(dòng)化抓包解決方案

視頻開(kāi)播是集客戶(hù)端邏輯、網(wǎng)絡(luò )狀況及服務(wù)端邏輯三方面共同作用的結果，除了時(shí)間數據，往往需要網(wǎng)絡(luò )包來(lái)輔助分析。抓包在常用測試中是一個(gè)手動(dòng)測試項，常常通過(guò) 360Wi-Fi、小米 Wi-Fi 等組網(wǎng)支持。這類(lèi)熱點(diǎn)組網(wǎng)簡(jiǎn)單，可以快速用于問(wèn)題的定位和分析，但它的性能測試問(wèn)題也比較突出，主要問(wèn)題有三個(gè)： 第一，app 設備需要連入熱點(diǎn)設備提供的網(wǎng)絡(luò )，同一網(wǎng)絡(luò )，存在干擾；第二，熱點(diǎn)設備支持距離短，長(cháng)時(shí)間運行不穩定；第三，手工方案效率低，無(wú)法用于批量數據采集 。

解決方案

圖 2 整體結構圖

如圖 2 給出的整體結構圖，下面介紹解決方案是如何解決上面提到的問(wèn)題。

·QTC 方案

根據需求來(lái)篩選關(guān)鍵特性，畫(huà)出方案選型表格，并制定具體的測試活動(dòng)來(lái)填充表格。如下表 1，很明顯硬件方案能夠滿(mǎn)足測試需求，但基于 ATC 開(kāi)源軟件做二次定制開(kāi)發(fā)，同樣能構建一個(gè)低成本的工具并滿(mǎn)足需求。

1. 產(chǎn)品形態(tài)

硬件要求：雙網(wǎng)卡工作站 + 無(wú)線(xiàn)接入設備

軟件要求：Linux 系統 + python2.7

服務(wù)部署時(shí)間：< 5 分鐘

適用場(chǎng)景：設備需要接入 QTC 服務(wù)搭建的 LAN（QTC 熱點(diǎn)，或者 QTC 交換機）

不適用場(chǎng)景：帶寬配置 <64 bps，網(wǎng)絡(luò )參數切換時(shí)間 < 2s

2. 使用方法

使用瀏覽器作為配置頁(yè)面，跨平臺使用，支持 Android/IOS/windows 多端設備使用。直接在測試設備上進(jìn)行參數配置，無(wú)需其它測試設備協(xié)助，在無(wú)線(xiàn)熱點(diǎn)覆蓋區域內實(shí)現隨時(shí)隨地的移動(dòng)測試。

3. 技術(shù)細節：動(dòng)態(tài)場(chǎng)景配置（自研）

設計新的數據結構來(lái)存儲動(dòng)態(tài)場(chǎng)景（兼容靜態(tài)場(chǎng)景數據結構），創(chuàng )建新進(jìn)程來(lái)動(dòng)態(tài)設置，使用進(jìn)程間同步機制傳遞進(jìn)程信息來(lái)刷新前端 UI。

·低損耗網(wǎng)絡(luò )抓包方案

基于問(wèn)題，解決方案由硬件解決方案和軟件解決方案共同組成。

1. 硬件方案

主要解決穩定和抓包兩個(gè)問(wèn)題。測試團隊經(jīng)過(guò)實(shí)踐，落地基于鏡像交換機 + 無(wú)線(xiàn) AP 的組網(wǎng)方案。該方案，核心在于 鏡像交換機 ，它將手機的網(wǎng)絡(luò )流量鏡像一份到圖中 PC 機器的網(wǎng)口，PC 網(wǎng)口后續用于抓包，這樣就把應用的網(wǎng)絡(luò )響應與抓包在物理層分離，應用和抓包機器互不干擾，下圖比較了常用抓包方案和新方案的優(yōu)缺點(diǎn)。

新方案通過(guò)使用無(wú)線(xiàn)路由器釋放熱點(diǎn)，無(wú)線(xiàn)網(wǎng)絡(luò )較 360 Wi-Fi 和筆記本無(wú)線(xiàn)網(wǎng)卡有一個(gè)質(zhì)的提升，舉個(gè)例子，實(shí)際測試實(shí)踐，360 Wi-Fi 網(wǎng)絡(luò )連入的手機，連接距離超過(guò) 2 米以后，網(wǎng)絡(luò )經(jīng)常變的不穩定，新方案在 10 米左右都能提供一個(gè)視頻秒播的體驗，使用路由器提供網(wǎng)絡(luò )更加的穩定。

2. 軟件方案

主要解決自動(dòng)化的問(wèn)題。自動(dòng)化的一個(gè)關(guān)鍵問(wèn)題就是，手機如何自動(dòng)化的 開(kāi)啟和關(guān)閉抓包功能 ，這里使用網(wǎng)絡(luò )請求的方式搭建這一通路。PC 機本地實(shí)現一個(gè) HTTP 的監控服務(wù) ，服務(wù)內部實(shí)現與抓包工具的交互；手機在執行自動(dòng)化的場(chǎng)景中，如果需要抓包，通過(guò) HTTP 請求的方式開(kāi)啟關(guān)閉 PC 機的抓包功能，實(shí)現自動(dòng)化。

價(jià)值

通過(guò)和 IT 團隊合作，將 QTC 節點(diǎn)部署到公司辦公核心網(wǎng)絡(luò )，在指定辦公區域放射公共 wifi 信號，只要能接收到 QTC 熱點(diǎn)信號的地方，就可以自行設置接入設備的網(wǎng)絡(luò )環(huán)境，模擬各種異常網(wǎng)絡(luò )場(chǎng)景。不區分業(yè)務(wù)形態(tài)，不區分接入的設備類(lèi)型，且不同設備之間互不干擾，實(shí)現“移動(dòng)測試”，同時(shí)在后臺服務(wù)器上，可以抓包追蹤所有的網(wǎng)絡(luò )流量，實(shí)現“精準運維”。目前 QTC 服務(wù)已經(jīng)應用于播放 SDK、基線(xiàn) APP、TV app 和短視頻業(yè)務(wù)等多個(gè)產(chǎn)品的線(xiàn)下弱網(wǎng)測試，贏(yíng)得了技術(shù)團隊的認可和好評，有力提升了產(chǎn)品質(zhì)量和研發(fā)效率。以 TV app 為例，借助 QTC 工具，新增 26 條弱網(wǎng)測試用例，已支持兩個(gè)產(chǎn)品版本測試，平均每版本發(fā)現弱網(wǎng)功能 bug 約 10 個(gè)。

基于新的抓包組網(wǎng)，愛(ài)奇藝基線(xiàn) APP 性能測試接入后，開(kāi)播等性能測試可以自動(dòng)收集網(wǎng)絡(luò )包數據。通過(guò)使用抓包工具定位到了 APP 點(diǎn)擊轉場(chǎng)慢、網(wǎng)絡(luò )請求 DNS 慢導致的開(kāi)播性能問(wèn)題。

未來(lái)規劃

1. 現實(shí)場(chǎng)景的模型化，尋找更精準的測量方法和測試工具來(lái)采集現實(shí)場(chǎng)景的網(wǎng)絡(luò )參數，并拓展采集維度，構建網(wǎng)絡(luò )場(chǎng)景數據庫。
2. 借助 AI 技術(shù)做對網(wǎng)絡(luò )場(chǎng)景數據做智能挖掘，找到異常場(chǎng)景的特征值，提高測試的精準性。
3. 不僅是開(kāi)播，只要客戶(hù)端功能是需要網(wǎng)絡(luò )請求，都可以使用網(wǎng)絡(luò )插件來(lái)自動(dòng)化收集網(wǎng)絡(luò )包用于后續分析，未來(lái)將會(huì )擴展到更多的自動(dòng)化測試場(chǎng)景中。

原文轉自：https://www.infoq.cn/article/lqU7uiwswPHRF1rpUP8e