Graylog 3.1 - значительные изменения

Не так давно состоялся казалось бы минорный релиз Graylog 3.1, но при этом для бесплатной версии приехала самая полезная фича - Views.
Но обо всём по порядку.

graylog - оповещения в telegram

Продолжаем смотреть graylog и на этот раз будем делать уведомления с помощью телеграм бота. Для этого нужно будет создать отдельный stream, направить туда сообщения, установить в graylog новый плагин и создать алерт с уведомлением.
Ничего сложного.

graylog - auditbeat

Сбор и анализ событий безопасности в graylog

Сегодня мы рассмотрим очередной ключевой компонент graylog - sidecar, затем посмотрим как использовать data shipper (поставщик данных) auditbeat и увидим к чему всё это в итоге может привести.

Спойлер: к интересным дашбордам.

graylog - отладка правил pipeline

Для чего нужны конвейеры в graylog и как их симулировать

Одна из самых полезных (и возможно самых сложных) функций в graylog - это pipelines или конвейеры (или трубопроводы, как кому больше нравится). Конвейеры позволяют как угодно обрабатывать поступающие в graylog сообщения - отбрасывать ненужные, приводить к нужному формату дату и время, добавлять статические новые поля или производить модификацию содержимого полей. Возможности практически бескрайние и ограничены только фантазией или производственными нуждами.

graylog - геолокация

Ориентируемся на местности в graylog

Основная работа geo-ip модуля - это создавать дополнительные поля основываясь на БД MaxMind.
Эти поля могу содержать массу различных данных - начиная от страны, города и заканчивая координатами. Интересно, что названия стран предоставляются на нескольких языках.

Включить его несложно, нужно просто подкинуть файл MaxMind (https://dev.maxmind.com/geoip/geoip2/geolite2/)
Но есть пару нюансов, которые не описаны в документации, поэтому рассмотрим процесс подробно и по шагам.

RHEL 8 - что нового

Относительно недавно (7 мая) состоялся релиз RHEL 8, с некоторым количеством нового функционала.

Всё новое гораздо лучше изучать на практике, а не просто читать какие-нибудь пресс релизы.
И поэтому на прошедшем Red Hat Summit был двухчасовой воркшоп c говорящим названием The Definitive Red Hat Enterprise Linux 8 Hands-on Lab.
Посмотреть можно на гитхабе https://github.com/xtophd/RHEL8-Workshop/blob/master/documentation/RHEL8-Workshop.adoc
Он представляет из себя краткую теорию, и много практических заданий по каждой новой или обновленной фиче RHEL 8.
Про этот мастеркласс и будет сегодняшний рассказ.

Высокая доступность. Начало

Высокая доступность, она же High Availability или HA. Это система или компонент, который непрерывно работоспособен достаточно длительный промежуток времени.

Основные принципы HA - устранение единой точки отказа и обнаружение сбоев когда они случаются.

Для начала необходимо рассмотреть некоторую терминологию, а потом переходить к практике.

graylog - экстракторы и дашборды

Продолжаем рассматривать graylog и на этот раз мы затронем дашборды.
Но перед этим перейдем в самый первый раздел (Search) и попробуем определить какие ip адреса нарушителей мы сможем найти.

Здесь видно, что несколько десятков сообщений было связанных с приложением ssh, попробуем более пристально рассмотреть одно из них:

graylog - потоки и оповещения

После небольшого обзора graylog в прошлый раз перейдем к рассмотрению практических задач.
И начнем с простого, задача на сегодня - это выявлять попытки подбора паролей по ssh.

Первым делом создадим новый stream.
Для этого нужно перейти в Streams и нажать "Create Stream".
К слову, можно заметить, что по дефолту уже создан поток, который собирает все входящие сообщения.

graylog - начало

Централизованный сбор логов - это хорошо известная технология, которая применяется десятилетиями.
Практически любая Linux система имеет на борту rsyslog или syslog-ng, которые из коробки умеют отправлять все логи на удаленный сервер.
Но основная проблема в том, что с ними дальше делать, ведь логи нужно парсить, хранить так чтобы можно было искать, нужны уведомления когда что-то произойдет.
Подобные задачи относительно недавно начали успешно решать, и один из лидеров такого решения - это знаменитый ELK.
Elastic стек - позволяет принимать самые разнообразные данные (big data), производить нормализацию данных (приведение к общему виду), и создавать дашборды для визуализации.
Возможности ELK очень широкие, множество корпораций использует ELK, но при этом стек все же несколько громоздкий и не так прост в конфигурировании.

С другой стороны, есть еще один крупный игрок на рынке сбора данных - это Graylog.

LXD - используемые команды

Небольшая подборка команд LXD, разбитая на различные группы.

Напомню так же, что работает автодополнение команд, после lxc можно использовать табуляцию.
И да, большинство команд начинается с lxc, такое вот не совсем логичное поведение.
 
[Работа с сетью]
lxc network list
lxc network info lxdbr0 (bytes/packets, которые были отправлены)
lxc network show lxdbr0 (ip адресация и NAT)
lxc network list-leases lxdbr0

Контейнеры LXD - краткий обзор

Контейнеры сейчас очень популярная тема. Наверное так же как лет 10 назад была популярна виртуализация и уход от физических серверов.
Уже несколько лет у всех слуху docker контейнеры, особенно любят их разработчики, это действительно удобно и позволяет пакетировать любое приложение со всеми библиотеками и зависимостями.
Но рассмотрим мы не очень известный, но вместе с тем очень интересный вид контейнеризации - LXD.

LXD (или LinuX container Daemon) - это менеджер контейнеров или некое подобие гипервизора.
Хотя если быть более точным - это демон с набором различных удобных утилит.
Кроме этого, предоставляется репозиторий образов самых часто используемых дистрибутивов Linux (https://uk.images.linuxcontainers.org/) и неплохой REST API. Среди них можно найти как полновесные centos и ubuntu, так и легковесный alpine (размером пару мегабайт).
При этом очень удобно то что и локальная работа, и удаленная (да, можно установить LXD на удаленном сервере и затем подключиться к нему и управлять контейнерами по сети) ничем не отличается и единообразна.

Ansible - Подводные камни

В процессе разработки инфраструктуры как код, могут возникать ситуации требующие нестандартного подхода и нетривиальных решений.
А иногда просто приходится долго дебажить потому, что что-то идет не так как ожидалось.

Подборка некоторых наблюдений и будет обрисована в этой заметке.