RequestMethod и Response Time всегда 0

[yatakoi]

Здравствуйте.

Создал базу с таблицей

CREATE TABLE metrics.nginx
(
    `RemoteAddr` String,
    `RemoteUser` String,
    `TimeLocal` DateTime,
    `Date` Date DEFAULT toDate(TimeLocal),
    `Request` String,
    `RequestMethod` String,
    `Status` Int32,
    `BytesSent` Int64,
    `HttpReferer` String,
    `HttpUserAgent` String,
    `RequestTime` Float32,
    `UpstreamConnectTime` Float32,
    `UpstreamHeaderTime` Float32,
    `UpstreamResponseTime` Float32,
    `Https` FixedString(2),
    `ConnectionsWaiting` Int64,
    `ConnectionsActive` Int64
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(Date)
ORDER BY (Status, Date)
SETTINGS index_granularity = 8192;

В Grafana ипортировал дашборд, который вы разместили здесь https://habr.com/ru/post/477498/

nginx-clickhouse корректно собирает логи

[root@clickhouse-grafana-node-1-centos7 ~]# systemctl status nginx-clickhouse -l
● nginx-clickhouse.service - Easy, configurable API mocking you can change on-the-fly
   Loaded: loaded (/usr/lib/systemd/system/nginx-clickhouse.service; enabled; vendor preset: disabled)
   Active: active (running) since Tue 2020-09-15 05:40:41 MSK; 4h 40min ago
  Process: 3019 ExecStop=/bin/kill -s SIGTERM $MAINPID (code=exited, status=0/SUCCESS)
 Main PID: 3023 (nginx-clickhous)
   CGroup: /system.slice/nginx-clickhouse.service
           └─3023 /usr/bin/nginx-clickhouse

Sep 15 10:15:38 clickhouse-grafana-node-1-centos7 nginx-clickhouse[3023]: time="2020-09-15T10:15:38+03:00" level=info msg="Preparing to save 1 new log entries."
Sep 15 10:15:39 clickhouse-grafana-node-1-centos7 nginx-clickhouse[3023]: time="2020-09-15T10:15:39+03:00" level=info msg="Saved 1 new logs."
Sep 15 10:16:29 clickhouse-grafana-node-1-centos7 nginx-clickhouse[3023]: time="2020-09-15T10:16:29+03:00" level=info msg="Preparing to save 41 new log entries."
Sep 15 10:16:29 clickhouse-grafana-node-1-centos7 nginx-clickhouse[3023]: time="2020-09-15T10:16:29+03:00" level=info msg="Saved 41 new logs."
Sep 15 10:17:54 clickhouse-grafana-node-1-centos7 nginx-clickhouse[3023]: time="2020-09-15T10:17:54+03:00" level=info msg="Preparing to save 2 new log entries."
Sep 15 10:17:54 clickhouse-grafana-node-1-centos7 nginx-clickhouse[3023]: time="2020-09-15T10:17:54+03:00" level=info msg="Saved 2 new logs."
Sep 15 10:18:24 clickhouse-grafana-node-1-centos7 nginx-clickhouse[3023]: time="2020-09-15T10:18:24+03:00" level=info msg="Preparing to save 1 new log entries."
Sep 15 10:18:24 clickhouse-grafana-node-1-centos7 nginx-clickhouse[3023]: time="2020-09-15T10:18:24+03:00" level=info msg="Saved 1 new logs."
Sep 15 10:18:29 clickhouse-grafana-node-1-centos7 nginx-clickhouse[3023]: time="2020-09-15T10:18:29+03:00" level=info msg="Preparing to save 3 new log entries."
Sep 15 10:18:29 clickhouse-grafana-node-1-centos7 nginx-clickhouse[3023]: time="2020-09-15T10:18:29+03:00" level=info msg="Saved 3 new logs."

Формат моих логов в access.log такой: https://pastebin.com/5ChdEaLS

Всё хорошо, но в Grafana в колонках RequestMethod и Response Time всегда отображается цифра 0.

Скриншоты:
http://images.vfl.ru/ii/1600155177/9c842c2a/31636138.jpg
http://images.vfl.ru/ii/1600155177/b841bf41/31636139.jpg

Буду признателен, если подскажете в чём причина.

И такой вопрос. nginx-clickhouse собирает только access.log, а error.log не использует?

[solc42]

nginx-clickhouse собирает только access.log, а error.log не использует?

Сервис смотрит на тот лог, который указан в конфиге в log_path.

Всё хорошо, но в Grafana в колонках RequestMethod и Response Time всегда отображается цифра 0.

Скрины и пример логов недоступны по линкам, все еще актуально?

Наугад - если вы используете пример конфига как есть из config-sample.yml, то его нехватит, вам надо поправить log_format и докинуть поля в columns.
Например для проброса RequestMethod:

• добавить в config.yml в columns : RequestTime: request_time
• добавить в config.yml в log_format поле $request_method
• убедиться что в nginx конфиге оно есть(если следуете прмиеру из репозитория этого то там оно есть)

[yatakoi]

Да, актуально. Спасибо, попробую.