Graylog 3.1 - значительные изменения

Не так давно состоялся казалось бы минорный релиз Graylog 3.1, но при этом для бесплатной версии приехала самая полезная фича - Views.
Но обо всём по порядку.

graylog - оповещения в telegram

Продолжаем смотреть graylog и на этот раз будем делать уведомления с помощью телеграм бота. Для этого нужно будет создать отдельный stream, направить туда сообщения, установить в graylog новый плагин и создать алерт с уведомлением.
Ничего сложного.

graylog - auditbeat

Сбор и анализ событий безопасности в graylog

Сегодня мы рассмотрим очередной ключевой компонент graylog - sidecar, затем посмотрим как использовать data shipper (поставщик данных) auditbeat и увидим к чему всё это в итоге может привести.

Спойлер: к интересным дашбордам.

graylog - отладка правил pipeline

Для чего нужны конвейеры в graylog и как их симулировать

Одна из самых полезных (и возможно самых сложных) функций в graylog - это pipelines или конвейеры (или трубопроводы, как кому больше нравится). Конвейеры позволяют как угодно обрабатывать поступающие в graylog сообщения - отбрасывать ненужные, приводить к нужному формату дату и время, добавлять статические новые поля или производить модификацию содержимого полей. Возможности практически бескрайние и ограничены только фантазией или производственными нуждами.

graylog - геолокация

Ориентируемся на местности в graylog

Основная работа geo-ip модуля - это создавать дополнительные поля основываясь на БД MaxMind.
Эти поля могу содержать массу различных данных - начиная от страны, города и заканчивая координатами. Интересно, что названия стран предоставляются на нескольких языках.

Включить его несложно, нужно просто подкинуть файл MaxMind (https://dev.maxmind.com/geoip/geoip2/geolite2/)
Но есть пару нюансов, которые не описаны в документации, поэтому рассмотрим процесс подробно и по шагам.

RHEL 8 - что нового

Относительно недавно (7 мая) состоялся релиз RHEL 8, с некоторым количеством нового функционала.

Всё новое гораздо лучше изучать на практике, а не просто читать какие-нибудь пресс релизы.
И поэтому на прошедшем Red Hat Summit был двухчасовой воркшоп c говорящим названием The Definitive Red Hat Enterprise Linux 8 Hands-on Lab.
Посмотреть можно на гитхабе https://github.com/xtophd/RHEL8-Workshop/blob/master/documentation/RHEL8-Workshop.adoc
Он представляет из себя краткую теорию, и много практических заданий по каждой новой или обновленной фиче RHEL 8.
Про этот мастеркласс и будет сегодняшний рассказ.

Высокая доступность. Начало

Высокая доступность, она же High Availability или HA. Это система или компонент, который непрерывно работоспособен достаточно длительный промежуток времени.

Основные принципы HA - устранение единой точки отказа и обнаружение сбоев когда они случаются.

Для начала необходимо рассмотреть некоторую терминологию, а потом переходить к практике.

graylog - экстракторы и дашборды

Продолжаем рассматривать graylog и на этот раз мы затронем дашборды.
Но перед этим перейдем в самый первый раздел (Search) и попробуем определить какие ip адреса нарушителей мы сможем найти.

Здесь видно, что несколько десятков сообщений было связанных с приложением ssh, попробуем более пристально рассмотреть одно из них:

graylog - потоки и оповещения

После небольшого обзора graylog в прошлый раз перейдем к рассмотрению практических задач.
И начнем с простого, задача на сегодня - это выявлять попытки подбора паролей по ssh.

Первым делом создадим новый stream.
Для этого нужно перейти в Streams и нажать "Create Stream".
К слову, можно заметить, что по дефолту уже создан поток, который собирает все входящие сообщения.

graylog - начало

Централизованный сбор логов - это хорошо известная технология, которая применяется десятилетиями.
Практически любая Linux система имеет на борту rsyslog или syslog-ng, которые из коробки умеют отправлять все логи на удаленный сервер.
Но основная проблема в том, что с ними дальше делать, ведь логи нужно парсить, хранить так чтобы можно было искать, нужны уведомления когда что-то произойдет.
Подобные задачи относительно недавно начали успешно решать, и один из лидеров такого решения - это знаменитый ELK.
Elastic стек - позволяет принимать самые разнообразные данные (big data), производить нормализацию данных (приведение к общему виду), и создавать дашборды для визуализации.
Возможности ELK очень широкие, множество корпораций использует ELK, но при этом стек все же несколько громоздкий и не так прост в конфигурировании.

С другой стороны, есть еще один крупный игрок на рынке сбора данных - это Graylog.

LXD - используемые команды

Небольшая подборка команд LXD, разбитая на различные группы.

Напомню так же, что работает автодополнение команд, после lxc можно использовать табуляцию.
И да, большинство команд начинается с lxc, такое вот не совсем логичное поведение.
 
[Работа с сетью]
lxc network list
lxc network info lxdbr0 (bytes/packets, которые были отправлены)
lxc network show lxdbr0 (ip адресация и NAT)
lxc network list-leases lxdbr0

Контейнеры LXD - краткий обзор

Контейнеры сейчас очень популярная тема. Наверное так же как лет 10 назад была популярна виртуализация и уход от физических серверов.
Уже несколько лет у всех слуху docker контейнеры, особенно любят их разработчики, это действительно удобно и позволяет пакетировать любое приложение со всеми библиотеками и зависимостями.
Но рассмотрим мы не очень известный, но вместе с тем очень интересный вид контейнеризации - LXD.

LXD (или LinuX container Daemon) - это менеджер контейнеров или некое подобие гипервизора.
Хотя если быть более точным - это демон с набором различных удобных утилит.
Кроме этого, предоставляется репозиторий образов самых часто используемых дистрибутивов Linux (https://uk.images.linuxcontainers.org/) и неплохой REST API. Среди них можно найти как полновесные centos и ubuntu, так и легковесный alpine (размером пару мегабайт).
При этом очень удобно то что и локальная работа, и удаленная (да, можно установить LXD на удаленном сервере и затем подключиться к нему и управлять контейнерами по сети) ничем не отличается и единообразна.

Ansible - Подводные камни

В процессе разработки инфраструктуры как код, могут возникать ситуации требующие нестандартного подхода и нетривиальных решений.
А иногда просто приходится долго дебажить потому, что что-то идет не так как ожидалось.

Подборка некоторых наблюдений и будет обрисована в этой заметке.

Модернизация редактора VIM

Текстовый редактор vim в особом представлении не нуждается.

Возраст его приближается к тридцатилетию, а редактор vi (на котором он основан), давно перевалил за 40.
Кто-то умеет выходить из vim перезагрузкой, кто-то использует его для редактирования конфигов, а кто-то каждый день пишет на нем код.

Но при этом, немногие используют возможности которые предоставляют различные плагины для vim.

Виртуализация: прошлое и настоящее

Давным давно, более десяти лет назад я впервые познакомился с виртуализацией.
В качестве гипервизора тогда безоговорочно лидировал VMware Workstation (скорее всего версии 4).
Возможность запускать одновременно несколько различных ОС на одной системе, и открывающиеся при этом широкие возможности произвели очень сильное впечатление.

И с тех пор я начал создавать различные виртуальные лаборатории. Для изучения новых технологий, тестирования рискованных изменений и для поиска новых решений.
С удешевлением оперативной памяти появлялась возможность запускать всё больше и больше виртуальных машин на одном хосте, создавая интересные решения, которые повторяли реально используемые в производстве. Одновременно с этим и бизнес постепенно отказывался от физических серверов в стойках и тоже переходил на виртуализацию (арендованную либо свою собственную).
В какой-то момент количество используемых виртуальных машин у меня перевалило за четыре десятка, а к VMware добавился еще и эмулятор сетевого оборудования GNS3, который позволил добавить еще больше реалистичности и сложности в собираемые стенды.

День FreeBSD

Сегодня проекту FreeBSD исполнилось 25 лет!

Непростое обновление roundcube

Возникла задача обновить roundcube с версии 0.7 до 0.9.5

Казалось бы, что всё очень просто, но на деле возникли затруднения.

Под катом собственно детальный траблшутинг и подробное решение.

FreeBSD исполнилось 20 лет

Проект FreeBSD празднует двадцатилетие.
Днём рождения проекта считается 19 июня 1993 года.
В этот день на базе неофициального набора патчей к 386BSD был создан форк 4.3BSD, в рамках которого планировалось развивать быструю, стабильную и надёжную ОС для систем i386.
В качестве вариантов имени рассматривались FreeBSD, BSDFree86 и Free86BSD.
В итоге предпочтение было отдано варианту FreeBSD, который предложил Дэвид Гринман (David Greenman).
В ноябре 1993 года на основе 4.3BSD-Lite 'Net/2' и 386BSD 0.1 был выпущен первый релиз FreeBSD 1.0.

Точнее чем Майкл Лукас никто бы не сказал - "Like smog, spiders, and corn syrup, FreeBSD is all around you; you simply don't see it because FreeBSD just works."

Так и есть, BSD системы держали и продолжают держать самые критичные сервисы и приложения, но никто этого не замечает, потому что FreeBSD просто работает.

Восстановление файловой системы FreeBSD

Как поступать если FreeBSD после повреждения файловой системы загружается в single use mode.

Для начала запустить fsck_ufs для "грязных" слайсов

# fsck_ufs /dev/ad0s1d

Далее если ругнется на то что can't read disk label

и

# bsdlabel: /dev/ad0s1d: no valid label found

То

Сначала узнать адреса резервных копий суперблока.

# newfs -N <слайс>

Будет выведен список резервных копий суперблока.

И затем указать один из адресов копий суперблока программе восстановления

# fsck -o -b=<адрес одного из резервных суперблоков>  <слайс>

Осталось только оправить на перезагрузку

# init 6

После этого система пометит все слайсы как "clean" и продолжит загружаться в обычном режиме.

Cisco disaster recovery

Бывают ситуации когда загрузка маршрутизатора останавливается в ROMMON по той причине, что отсутствует прошивка.