在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問答/網(wǎng)絡安全/ 日志分析系統(tǒng)filebeat輸入到es數(shù)據(jù)重復

日志分析系統(tǒng)filebeat輸入到es數(shù)據(jù)重復

我搭建的日志分析系統(tǒng),用filebeat作為輸入直接輸入到es中,中間沒有l(wèi)ogstash。發(fā)現(xiàn)有個問題,監(jiān)聽的某個文件只要有修改就會把該文件所有數(shù)據(jù)輸入到es中,早晨會有數(shù)據(jù)重復。請問這個問題怎么解決。我的filebeat配置文件如下:

filebeat.prospectors:

- type: log
  enabled: true
  json.keys_under_root: true
  json.overwrite_keys: true
  json.message_key: log
  tail_files: true
  harvester_buffer_size: 16384
  backoff: "1s"
  document_type: "car"
  paths:
    - /usr/local/elasticsearch/logs/*.log

#============================= Filebeat modules ===============================
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
#==================== Elasticsearch template setting ==========================

setup.template.pattern: "filebeat-%{[beat.version]}-*"
setup.template.name: "filebeat-%{[beat.version]}"
setup.template.settings:
  index.number_of_shards: 3

output.elasticsearch:
  hosts: ["192.168.220.111:9200"]
  index: "filebeat-car-%{+yyyy.MM.dd}"


processors:
 - decode_json_fields:
     fields: ["message"]
     process_array: false
     max_depth: 1
     target: ""
     overwrite_keys: false

json.keys_under_root: true
json.overwrite_keys: true

還望大神解答!

回答
編輯回答
空白格

大兄弟,你解決這個問題了嗎?
我也遇到了,log文件有修改,filebeat會把所有的記錄輸入到logstash,而不是最新的一條log,求解~

2018年7月20日 09:31