在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問答/網(wǎng)絡(luò)安全/ filebeat輸出到es,日志順序亂了？

filebeat輸出到es,日志順序亂了？

主要是想使用filebeat 直接輸出到es，不使用logstash。用于日志抓取。

問題：filebeat把日志輸出到es后，查看日志的時候發(fā)現(xiàn)日志里面的順序是亂的。
開發(fā)人員看起來非常費勁。
例如：

        April 12th 2018, 15:44:29.443   2018-04-12 15:44:25 871 DEBUG xxx
        April 12th 2018, 15:44:29.443   2018-04-12 15:44:25 871 DEBUG 
        April 12th 2018, 15:44:29.443   2018-04-12 15:44:25 872 INFO 
        April 12th 2018, 15:44:29.443   2018-04-12 15:44:25 869 INFO 
        April 12th 2018, 15:44:29.443   2018-04-12 15:44:25 871 DEBUG
        April 12th 2018, 15:44:29.443   2018-04-12 15:44:25 871 INFO 
        April 12th 2018, 15:44:29.443   2018-04-12 15:44:25 869 INFO  
        April 12th 2018, 15:44:29.443   2018-04-12 15:44:25 869 DEBUG 
        April 12th 2018, 15:44:29.443   2018-04-12 15:44:25 870 DEBUG

后面的毫秒是亂的沒有正常排序輸入到es。

請哪位對filebeat比較了解的幫忙解答下！

謝謝！

回答
編輯回答
久礙你

那得看你的日志采集自一臺機器, 還是多臺機器; 你的 filebeat 和你的 es 是在一臺機器, 還是分屬兩臺機器.

按我的理解, 如果 filebeat 配置中沒有開啟 publish_async 選項, 那么單一 filebeat 實例的輸出總是和文件順序一致的.
但如果你在多臺服務(wù)器上部署了多個 filebeat, 因為各個系統(tǒng)時鐘未必時刻完全一致(導(dǎo)致日志記錄的時間在各個服務(wù)器上未必一致), 且中間經(jīng)過網(wǎng)絡(luò)傳輸, 就沒法保證 es 接到的數(shù)據(jù)和日志中標(biāo)明的時序一樣.
即使只有一個 filebeat 實例, 如果和 es 部署在不同服務(wù)器上, 那也只排除了系統(tǒng)時鐘問題, 但網(wǎng)絡(luò)問題依然可能導(dǎo)致后發(fā)的日志先被 es 收到.

如果對日志時序有要求, 最好還是過一道 logstash, 把日志時間解析成 es 的 timestamp.

2017年10月1日 00:44