應(yīng)對超大訪問流量統(tǒng)計

申請免費試用、咨詢電話：400-8352-114

應(yīng)用背景

新華網(wǎng)在世界網(wǎng)站的排名中名列我們國家新聞網(wǎng)站首位，網(wǎng)站的點擊率非常高，訪問流量很大。為了獲取網(wǎng)站的信息流量和使用情況，以及用戶訪問網(wǎng)站的相關(guān)信息，實現(xiàn)對各類業(yè)務(wù)信息流數(shù)據(jù)的統(tǒng)計分析，傳統(tǒng)的解決方法是由分析系統(tǒng)提取網(wǎng)站中所有服務(wù)器上的LOG日志文件，對LOG日志文件中所記錄的服務(wù)器訪問記錄進(jìn)行統(tǒng)計分析，最終得出整個網(wǎng)站的訪問量的統(tǒng)計分析結(jié)果。

目前，新華網(wǎng)的服務(wù)器數(shù)量已達(dá)數(shù)十臺之多，如果使用這種方法來實現(xiàn)對整個網(wǎng)站的訪問情況的統(tǒng)計分析，則分析系統(tǒng)必須分別訪問并提取各個服務(wù)器的LOG文件，這樣就會給服務(wù)器以及整個網(wǎng)絡(luò)造成正常運行之外的額外系統(tǒng)開銷。假設(shè)每個服務(wù)器的LOG日志文件為10-100M字節(jié)量級，那么，數(shù)十臺服務(wù)器的LOG日志文件就是幾千兆字節(jié)，甚至幾十千兆字節(jié)，分析系統(tǒng)在提取這些日志文件時，一方面要加重服務(wù)器的訪問開銷，另一方面還要加重網(wǎng)絡(luò)交換機(jī)的負(fù)擔(dān)，損耗整個網(wǎng)絡(luò)的性能。另外，使用服務(wù)器LOG日志文件進(jìn)行統(tǒng)計分析還不利于實時統(tǒng)計分析，因此，通常的解決方案不適合這種大型網(wǎng)絡(luò)的訪問流量的分析統(tǒng)計需求。

基于上述應(yīng)用背景和分析，我們提出了一種全新的技術(shù)思路來實現(xiàn)新華網(wǎng)訪問流量統(tǒng)計分析的需求，即從網(wǎng)絡(luò)上實時采集數(shù)據(jù)流，從數(shù)據(jù)流中提取網(wǎng)絡(luò)會話并處理對網(wǎng)站中各類服務(wù)器群的訪問請求與應(yīng)答信息，生成LOG項寫入LOG日志文件。在實際應(yīng)用中我們選用了CAPTECH公司的網(wǎng)絡(luò)會話流采集分析系統(tǒng)NSCAS，其特點是針對高速網(wǎng)絡(luò)的數(shù)據(jù)采集、提取會話處理以及生成LOG日志文件。

NSCAS技術(shù)解析

NSCAS的網(wǎng)絡(luò)會話實時采集處理技術(shù)是在網(wǎng)絡(luò)線路上采用線路分向旁路監(jiān)聽方式，高速地采集網(wǎng)絡(luò)上所有數(shù)據(jù)流，從所采集到的數(shù)據(jù)包中提取網(wǎng)絡(luò)會話，對會話按相應(yīng)的應(yīng)用協(xié)議進(jìn)行處理，生成LOG記錄項，按標(biāo)準(zhǔn)LOG日志文件格式進(jìn)行記錄，形成標(biāo)準(zhǔn)的LOG日志文件，這樣就可以不用訪問服務(wù)器而獲得與服務(wù)器LOG日志文件格式相同的日志文件。

這項技術(shù)的優(yōu)勢在于，它不依賴于各種應(yīng)用服務(wù)器的應(yīng)用系統(tǒng)而獨立工作，不對系統(tǒng)和網(wǎng)絡(luò)的性能和負(fù)載產(chǎn)生任何影響。并且，由于日志文件的形成是可以由用戶自己定義，因此用戶可以將訪問某一類服務(wù)器的記錄放在同一個LOG日志文件中，這樣有利于后端統(tǒng)計分析軟件的運行效率，提高統(tǒng)計分析系統(tǒng)的處理能力。

新華網(wǎng)的應(yīng)用效果

新華網(wǎng)采用NSCAS系統(tǒng)后，經(jīng)過一段時間的實際運行，完全滿足了新華網(wǎng)針對超大訪問流量統(tǒng)計分析的需求，同時，網(wǎng)絡(luò)自身的性能沒有受到任何影響。該方案中幾個關(guān)鍵技術(shù)點，如：高速數(shù)據(jù)采集的性能經(jīng)過在新華網(wǎng)中的實際測試，根據(jù)對網(wǎng)絡(luò)中實際傳輸?shù)母鞣N尺寸數(shù)據(jù)包類型的分布統(tǒng)計，得出其采集能力在700Mbps以上；在滿足對本地服務(wù)器LOG日志文件的合并處理的需求的基礎(chǔ)上，還實現(xiàn)了將新華網(wǎng)的各地區(qū)分社頻道以及國外分社頻道的LOG日志文件同本地服務(wù)器一同合并處理的附加功能，同時還解決了訪問流量的實時統(tǒng)計問題。