Elasticsearch

Elasticsearch Введение — 1.1 Основные понятия В этом уроке мы сосредоточимся на основных концепциях Elasticsearch. Начать использовать Elasticsearch очень просто, большинство операций имеют настройки по умолчанию и их легко переопределить.

Основные концепции Kubernetes I — Pods, Labels и Replicas

Оригинал статьи Эта статья — первая из серии статей об основных концепциях Kubernetes. Во второй части мы поговорим о Deployments. Третья статья объясняет понятия Services и в четвертой мы посмотрим на Secrets и ConfigMaps. В пятой и последней мы поговорим о Daemon Sets и Jobs.

Проверка состояния сервисов в CONSUL

В прошлом посте мы создали небольшой Consul кластер с четырьмя сервисами в нём: двумя web сервисами и двумя db. Но так как мы не сказали Консулу, как мониторить их состояние, Консул-агенты абсолютно упустили из виду тот факт, что ни одного сервиса на самом деле не существует. Сегодня мы посмотрим, как это можно было бы исправить: как добавить проверки состояния сервисов, и… Continue reading «Проверка состояния сервисов в CONSUL»

Поиск и регистрация сервисов с CONSUL

Допустим, есть у нас распределённое приложение, в которое входят два вида сервисов: web и db. Для большей надёжности они запускаются сразу в нескольких экземплярах, на разных хостах, иногда приходят в онлайн, иногда уходят, какие-то подвисли, какие-то ещё нет… В общем, хаос. Как в таком случае отдельно взятому сервису web отыскать себе живой db? Самое очевидное решение — придумать какое-нибудь отдельное хранилище… Continue reading «Поиск и регистрация сервисов с CONSUL»

Конфигурация сервисов с CONSUL KEY-VALUE STORE

Как люди обычно конфигурируют приложения? Некоторые, например, передают аргументы через командную строку. Ещё можно задать переменные окружения или просто указать на файл с настройками. Да чего уж там, пока никто не видит, опцию-другую можно и прямо в код прошить. Но как быть с такой ситуацией. Есть у нас распределённое приложение: куча хостов, сервисы создаются, приходят в онлайн, уходят,… Continue reading «Конфигурация сервисов с CONSUL KEY-VALUE STORE»

Docker — измеряйте ресурсы, используемые контейнерами

В docker’е существует встроенная команда, позволяющая увидеть сколько CPU, памяти, сетевых операций ввода-вывода (network I/O) и блочных операций ввода-вывода (block I/O) используют запущенные контейнеры. Давайте разберемся! Знать, сколько ресурсов используется тем или иным docker-контейнером очень полезно. Вооружившись этими знаниями, можно планировать апгрейд существующих и разворачивать дополнительные docker-хосты, соответствующие используемым ресурсам. В перспективе это знание позволяет… Continue reading «Docker — измеряйте ресурсы, используемые контейнерами»

Как хранить данные в DOCKER VOLUMES

Если полистать какой-нибудь Докер гайдлайн, то скорее всего в нём скажут, что контейнеры должны быть маленькими, с одним процессом, легко удаляемыми и так же легко заменяемыми на более новый. Прекрасная концепция. О чём в гайдлайнах пишут немного реже, так это что же делать с данными внутри таких контейнеров. Я же не могу легко удалить тот же mysql… Continue reading «Как хранить данные в DOCKER VOLUMES»

KIBANA: окно в ELASTICSEARCH

Сегодня мы поговорим о последнем компоненте ELK стэка от Elastic — Kibana. Хотя Logstash отлично справляется обработкой логов и прочих потоков данных, а Elasticsearch поможет их сохранить, проиндексировать и запустить парочку поисковых запросов, ни у одного их них нету пользовательского интерфейса. А анализировать данные и искать закономерности из командной строки — удовольствие для любителей. Очень странных любителей… И тут на помощь… Continue reading «KIBANA: окно в ELASTICSEARCH»

Обрабатываем логи в LOGSTASH

Итак, с Elasticsearch, гибридом гугла и NoSQL базы данных, мы разобрались, самое время перейти к следующей букве ELK стэка от Elastic — Logstash. Что такое Logstash Logstash — это конвейер обработки данных, который получает сырые данные (например, логи) из одного или нескольких  источников, обрабатывает их и улучшает фильтрами, а затем отправляет результат одному или нескольким получателям. Elastic рекомендует в качестве получателя использовать Elasticsearch,… Continue reading «Обрабатываем логи в LOGSTASH»

Краткое введение в ELASTICSEARCH

Насколько замечательно Grafana, Graphite и Prometheus справляются с численными данными мониторинга, вроде загрузки процессора по времени, настолько же они бесполезны для работы с логами. А ведь с теми приходится работать даже чаще, чем с метриками. Инструментов для работы с логами тоже навалом, но сегодня мы посмотрим в сторону ELK стека от Elastic. А именно: Elasticsearch, Logstash и Kibana — хранилище/поисковик, обработчик данных и тулза для… Continue reading «Краткое введение в ELASTICSEARCH»