隨著5G、物聯(lián)網(wǎng)技術的飛速發(fā)展,中國移動物聯(lián)網(wǎng)(中移物聯(lián)網(wǎng))作為國內(nèi)重要的物聯(lián)網(wǎng)服務提供商,其網(wǎng)絡數(shù)據(jù)流量呈指數(shù)級增長。其中,分組數(shù)據(jù)網(wǎng)關(PGW)作為連接移動用戶與外部數(shù)據(jù)網(wǎng)絡的關鍵節(jié)點,產(chǎn)生的實時會話數(shù)據(jù)具有海量、高并發(fā)、低延遲處理等核心需求。傳統(tǒng)數(shù)據(jù)處理架構在應對此類場景時,常面臨實時分析能力不足、存儲查詢效率低下、運維成本高昂等挑戰(zhàn)。在此背景下,DorisDB(現(xiàn)稱Apache Doris)憑借其卓越的實時分析性能和易于運維的特性,為中移物聯(lián)網(wǎng)PGW實時會話業(yè)務領域的數(shù)據(jù)處理與存儲服務提供了強有力的技術支撐。
一、PGW實時會話業(yè)務的數(shù)據(jù)挑戰(zhàn)與核心需求
PGW負責處理用戶設備(UE)的會話建立、修改、釋放,并記錄詳細的計費、服務質(zhì)量(QoS)及用戶面流量信息。這些數(shù)據(jù)不僅是網(wǎng)絡運維、故障診斷的關鍵依據(jù),更是用戶行為分析、精準營銷、實時風控等增值業(yè)務的數(shù)據(jù)基石。其業(yè)務挑戰(zhàn)主要體現(xiàn)在:
- 數(shù)據(jù)海量且高速生成:海量物聯(lián)網(wǎng)終端每時每刻都在產(chǎn)生會話信令與流量日志,數(shù)據(jù)吞吐量巨大。
- 要求極高的實時性:對于網(wǎng)絡質(zhì)量監(jiān)控、異常會話實時告警、實時計費扣費等場景,要求數(shù)據(jù)從產(chǎn)生到可分析查詢的延遲極低(通常在秒級甚至毫秒級)。
- 復雜的查詢模式:業(yè)務查詢既包含對特定會話詳情的點查詢,也包含面向全量或時間段的聚合分析、多維度關聯(lián)查詢(如結合用戶信息、地理位置等)。
- 高可用與可擴展性:系統(tǒng)需保證7x24小時不間斷服務,并能隨著業(yè)務增長平滑擴展。
二、DorisDB的核心特性與架構優(yōu)勢
DorisDB是一個基于MPP架構的高性能、實時分析型數(shù)據(jù)庫,它完美契合了PGW實時會話業(yè)務的上述需求:
- 極致的實時分析與導入能力:支持毫秒級延遲的數(shù)據(jù)實時寫入與更新,數(shù)據(jù)寫入即可查。這對于需要實時監(jiān)控會話狀態(tài)、即時發(fā)現(xiàn)異常流量的場景至關重要。其獨特的物化視圖和預聚合能力,能夠預先計算復雜查詢,極大提升高頻聚合查詢(如分省實時流量統(tǒng)計、APN維度會話數(shù))的響應速度。
- 卓越的查詢性能:采用列式存儲、向量化執(zhí)行引擎和智能查詢優(yōu)化,在面對PGW數(shù)據(jù)常見的多表關聯(lián)、高并發(fā)點查與即席分析(Ad-hoc)時,仍能保持亞秒級響應,滿足運營人員與業(yè)務系統(tǒng)的交互式分析需求。
- 統(tǒng)一的數(shù)據(jù)服務層:DorisDB同時支持高吞吐的批量數(shù)據(jù)導入(如補充歷史數(shù)據(jù))和實時流式導入,能夠將PGW從不同鏈路(如實時信令流、離線日志文件)產(chǎn)生的數(shù)據(jù)統(tǒng)一接入、存儲和分析,簡化了數(shù)據(jù)架構,降低了運維復雜度。
- 高度的可用性與易擴展性:系統(tǒng)支持多副本機制,自動實現(xiàn)故障切換與數(shù)據(jù)恢復,保障服務高可用。其存算分離(自2.0版本起)或彈性擴縮容能力,使得中移物聯(lián)網(wǎng)可以根據(jù)業(yè)務負載動態(tài)調(diào)整集群資源,實現(xiàn)成本與性能的最優(yōu)平衡。
- 完善的SQL支持與生態(tài)兼容:兼容MySQL協(xié)議,使得現(xiàn)有基于SQL的分析工具和業(yè)務應用能夠幾乎無縫接入,降低了開發(fā)和遷移成本。
三、DorisDB在PGW業(yè)務中的典型應用場景
在中移物聯(lián)網(wǎng)的實踐中,DorisDB被深度應用于PGW數(shù)據(jù)處理與存儲服務的多個環(huán)節(jié):
- 實時網(wǎng)絡監(jiān)控與智能運維:將PGW產(chǎn)生的會話信令、流量指標實時寫入DorisDB。運維人員可通過儀表盤實時查看全國/各省的在線用戶數(shù)、會話建立成功率、流量峰值、平均時延等關鍵指標,一旦發(fā)現(xiàn)異常(如某區(qū)域成功率驟降),可立即鉆取到具體會話詳情進行根因定位,實現(xiàn)從“感知”到“處置”的分鐘級閉環(huán)。
- 實時計費與業(yè)務控制:對于預付費用戶或需要實時流量管控的場景,DorisDB可實時處理用戶流量使用記錄,并與計費策略關聯(lián),支持實時扣費、達量限速等指令的快速生成與下發(fā),保障計費的準確性和業(yè)務的靈活性。
- 用戶行為分析與業(yè)務洞察:基于DorisDB中存儲的全量歷史會話數(shù)據(jù),市場與產(chǎn)品團隊可以進行多維度的離線分析,如識別高價值用戶群體、分析不同終端型號的網(wǎng)絡表現(xiàn)、評估新上線業(yè)務(如視頻業(yè)務)的流量模型,為網(wǎng)絡優(yōu)化、套餐設計和精準營銷提供數(shù)據(jù)驅動決策。
- 安全與風控:通過實時分析會話行為模式(如頻繁的短會話、異常地理位置切換),DorisDB可以協(xié)助快速識別潛在的DDoS攻擊、惡意刷流量、偽基站等安全威脅,及時觸發(fā)防護策略。
四、實踐價值與未來展望
引入DorisDB后,中移物聯(lián)網(wǎng)在PGW實時會話業(yè)務領域實現(xiàn)了顯著的效能提升:數(shù)據(jù)處理鏈路從小時級縮短到秒級,復雜查詢響應時間大幅降低,同時降低了多套系統(tǒng)(如KV存儲用于點查、Hadoop用于離線分析)并存帶來的架構復雜度和運維成本。一個統(tǒng)一、高效、實時的高性能分析平臺,有力支撐了網(wǎng)絡智能化運營和物聯(lián)網(wǎng)數(shù)據(jù)價值的深度挖掘。
隨著物聯(lián)網(wǎng)連接數(shù)的持續(xù)爆發(fā)和邊緣計算的發(fā)展,PGW數(shù)據(jù)將進一步向“云邊端”協(xié)同處理演進。DorisDB憑借其輕量、高性能和易集成的特點,有望在邊緣側的數(shù)據(jù)聚合與實時分析場景中發(fā)揮更大作用,與云端分析形成協(xié)同,共同構建中移物聯(lián)網(wǎng)下一代智能、實時、統(tǒng)一的數(shù)據(jù)處理與存儲服務體系,持續(xù)賦能千行百業(yè)的數(shù)字化、智能化轉型。