以Log Parser計算某日網站流量

發佈於 2015-04-30 16:24

由於公司管理的一台web server流量不太穩定，

不確定是異常的流量，還是那天真的沒什麼人瀏覽網站：

可以發現2015年4月03日的參觀次數、網頁數、點擊數、位元組都特別少，

這個數據是由AWStats分析的結果，因此我想利用真正的IIS Log來印證當天的流量有沒有異常。

Log Parser這個工具的出現非常便捷，

一般傳統的log檔又臭又長，想統計個資訊可能要耗費大量的時間，

使用Log Parser，就像在使用SQL語法一樣，

下個SELECT語法就可以兜出你想要的資訊。

下載Log Parser 2.2：
https://www.microsoft.com/en-us/download/details.aspx?id=24659
安裝非常簡單，只要雙擊安裝程式即可。
接著打開Log Parser 2.2工具：
打開來就是命令提示字元，就可以在這邊下指令，撈想要呈現的Log資料。
例如：我想要知道我的log檔有什麼欄位，就可以搭配TOP 1的語法

LogParser “SELECT TOP 1 * FROM log檔路徑\*.log” –i:w3c –o:csv

※-i:w3c代表我的log輸入檔是w3c格式
※-o:csv代表我要輸出的結果格式為csv檔(以逗號隔開的結果)

補充：你可以在這裡看到這些欄位名稱代表的意思。
接著就是進階一點的用法，我想要統計位元組總和(04/03 8:00 ~ 04/04 8:00)

先挑出20150403早上8:00以後的數據：(1048576=1024*1024，我把Bytes/1048576=MB)

LogParser “SELECT TO_STRING(TO_TIMESTAMP(DATE, TIME),’MM-dd’) as Day,
div(sum(cs-bytes),1048576) as INCOMING(K),
div(sum(sc-bytes),1048576) as OUTGOING(K)
from 路徑\u_ex150403.log
WHERE TIME >= '08:00:00' GROUP BY Day” –i:w3c –o:csv

再挑出20150404早上8:00以前的數據：
LogParser “SELECT TO_STRING(TO_TIMESTAMP(DATE, TIME),’MM-dd’) as Day,
div(sum(cs-bytes),1048576) as INCOMING(K),
div(sum(sc-bytes),1048576) as OUTGOING(K)
from 路徑\u_ex150404.log
WHERE TIME <= '08:00:00' GROUP BY Day” –i:w3c –o:csv
最後就可以利用兩個天數的資料相加去做加總，
看要分析incoming(輸入server的流量)或是outgoing(server輸出的流量)都可以。

Question：為什麼是抓04/03 8:00 ~ 04/04 8:00的流量？
Answer：因為AWStats預設是使用英國格林威治的時間(GMT+0)統計流量，
而台灣是GMT+8，所以要抓04/03 8:00~04/04 8:00的流量才會一致。