Как посчитать проходимость места: необходимые данные, порядок расчетов, интерпретация результатов

Как посчитать проходимость места: необходимые данные, порядок расчетов, интерпретация результатов

На текущий момент начинающие бизнесмены оказываются в весьма непростой ситуации. Ввиду обилия конкурентов довольно трудно найти место, которое будет обеспечивать достаточную проходимость. Ведь наиболее удачные места уже заняты. Кроме этого, перед начинающим предпринимателем возникает немало других вопросов. Окупятся ли затраты на аренду? Как быстро бизнес начнет приносить прибыль и т. д. Чтобы на них ответить, нужно составить план и выполнить расчет проходимости места. Эти данные станут ответами на основные вопросы.

YouTube

Ежемесячно YouTube посещает более 1,9 миллиарда авторизованных пользователей. Платформа доступна в 91 стране. На площадке можно продвигать большинство товаров и услуг. Возможно создавать каналы на долгосрочную и краткосрочную перспективу.

Пример тематик для долгосрочной работы:

• Обзор банковских и кредитных карт, МФО, страхование.
• Инвестиции.
• Компьютерные и мобильные игры, приложения.
• Обзоры товаров из интернет-магазинов.
• И другие.

Можно создать 1-2 канала, регулярно публиковать ролики. Со временем увеличится объём трафика на канал и продажи. Основной минус такого подхода – невозможно сразу получить результат.

Примеры тематик для краткосрочной работы:

• Сайты знакомств (дейтинг).
• Казино.
• Товары для взрослых.

В этом случае необходимо постоянно создавать каналы, уникализировать, загружать и оптимизировать видео под ключевые запросы. Основное преимущество – реально быстро получить доход с каналов. Главный минус – алгоритмы быстро находят запрещённый контент и блокируют. Необходимо работать аккуратно.

Какие объёмы трафика? Например, YouTube-канал «КАЗИНОВКА» создан для привлечения игроков в онлайн-казино через прямые трансляции.

С сентября 2020 года по май 2021 года видео на канале суммарно посмотрели 1 167 676 раз.

Осваиваем мониторинг с Prometheus. Часть 2. PromQL и метки

В прошлой статье я говорил, что Prometheus — это не готовое решение, а скорее фреймворк. Чтобы использовать его возможности полноценно, надо разбираться. Что ж, начнём.

PromQL — это про то, как вытаскивать метрики не из экспортеров, а уже из самого Prometheus’а. Например, чтобы узнать сколько ядер у процессора, надо написать:

PromQL дословно расшифровывается как Prometheus query language, т.е. язык запросов. Он не имеет ничего общего с SQL, это принципиально другой язык. Поначалу он казался мне каким-то запутанным, а документация не особо помогала. Потихоньку разобрался и мне даже понравилось.

Пробуем простые запросы

Prometheus server хранит все данные в виде временных последовательностей (time series). Каждая временная последовательность определяется именем метрики и набором меток (labels) типа ключ-значение (key-value). Давайте сразу посмотрим несколько примеров в Prometheus web UI. Напомню, он работает на localhost:9090. Чтобы не городить скриншотов, я буду показывать запросы в своём псевдо-терминале, а вы не ленитесь и пробуйте у себя.

node_load1 — имя метрики,
instance и job — имена меток,
localhost:9100 и node — соответствующие значения меток,
0.96 — значение метрики.

Можно запустить какой-нибудь top и убедиться в том, что одноминутный load average на локалхосте действительно равен 0.96.

Если у вас несколько машин, результат будет интереснее:

Prometheus разрабатывался так, чтобы наблюдать за группой машин было так же легко, как за одной. И метки этому способствуют. Прежде всего они позволяют фильтровать вывод:

Кроме = и != есть ещё совпадение и несовпадение с регулярным выражением: =

. Лирическое отступление: мне не нравится одинарное равно для точного сопадения. Это против правил. Должно быть двойное! Эх, молодёжь… А вот разницы в кавычках я не заметил: одинарные и двойные работают одинаково. Да, если задать несколько условий, они будут объединяться логическим И.

Возьмём другой пример. Посмотрим свободное место на дисках:

В байтах получаются огромные непонятные числа, но сейчас не обращайте на это внимания — мы упражняемся в запросах.

Можно получить свободное место в процентах:

tmpfs — это не про диск, уберём его:

Не обязательно указывать одинаковый фильтр для всех операндов, как я только что сделал. Достаточно одного, а дальше Prometheus сам возьмёт пересечение по меткам. Следовательно, последний запрос можно с чистой совестью сократить до такого:

Мы получили свободное место в процентах, но как-то привычнее другая величина — занятое место в процентах:

Как видите, можно умножать или делить на скаляр и не важно что это: константа или результат вычисления. Вообще я заметил, что в PromQL действует правило: пиши осмысленные запросы и всё будет хорошо. Не надо пытаться сложить диск с процессором и делить на память.

Агрегация

По меткам можно делать агрегацию. Смысл агрегации в том, чтобы объединить несколько однотипных метрик в одну. Например, посчитать максимальный (или средний) load average среди машин определённой группы.

Синтаксис непривычный, но вроде ничего. Все эти скобочки являются обязательными, без них работать не будет. Пробуем на нашем load average:

Метки работают как измерения в многомерном пространстве. Агрегация с использованием by как бы схлопывает все измерения, кроме указанного. В примере с node_load1 это не очень заметно, потому что у меня мало меток и хостов. Ок, вот пример получше:

Эта метрика показывает сколько времени каждое ядро работало в каждом режиме. В сыром виде от неё никакого толку, но сейчас это не важно. Важно, что у неё куча меток: cpu , instance , job , mode .

Оператор without работает как by , но в другую сторону, по принципу: “что получится, если убрать такую-то метку”. На практике лучше использовать именно without , а не by . Почему? Дело в том, что Prometheus позволяет навесить кастомных меток при объявлении таргетов, например разный env для машин тестового и боевого окружений (как это сделать). При составлении запроса вы заранее не знаете какие дополнительные метки есть у метрики и есть ли они вообще. А если и знаете, то не факт, что их число не изменится в будущем… В любом случае при использовании by все метки, которые не были явно перечислены, пропадут при агрегации. Это скорее всего будет некритично в дашбордах, но будет неприятностью в алертах. Так что лучше подумать дважды, прежде чем использовать by . Попробуйте самостоятельно поиграться с агрегациями и понять как формируется результат. Полный список агрегирующих операторов вы найдёте в документации.

Считаем ядра

В принципе у вас уже достаточно знаний, чтобы самостоятельно посчитать ядра процессора, но я всё равно покажу. Для решения задачи нам нужна метрика node_cpu_seconds_total и оператор count , который показывает сколько значений схлопнулось при агрегации:

Результат получился правильный, но хочется видеть лишь две строчки: одну для localhost и вторую для anotherhost. Для этого предварительно надо избавиться от метки mode любым из способов:

Да, мне тоже кажется, что получение простой по смыслу метрики (число ядер) выглядит как-то заковыристо. Как будто мы ухо ногой чешем. Привыкайте.

Мгновенный и диапазонный вектор

Простите, я не смог придумать лучшего перевода. В оригинале это называется instant and range vector. Сейчас мы смотрели только мгновенные вектора, т.е. значения метрик в конкретный момент времени. Почему вообще результат запроса называется вектором? Вспоминаем, что Prometheus ориентирован на работу с группами машин, не с единичными машинами. Запросив какую-то метрику, в общем случае вы получите не одно значение, а несколько. Вот и получается вектор (с точки зрения алгебры, а не геометрии). Возможно, если погрузиться в исходный код Prometheus, всё окажется сложнее, но, к счастью, в этом нет необходимости.

Диапазонный вектор (range vector) — это вектор, который хранит диапазон значений метрики за определённый период времени. Он нужен, когда этого требует арифметика запроса. Проще всего объяснить на графике функции avg_over_time от чего-нибудь. В каждый момент времени она будет вычислять усреднённое значение метрики за предыдущие X минут (секунд, часов…). По-научному это называется “скользящее среднее” (moving average). На словах как-то сложно получается, лучше взгляните на эти 2 графика:

Оранжевый получен из зелёного усреднением за 10 минут. Да, это был мой любимый load average:

Собственно, диапазонный вектор — это когда мы дописываем временной интервал в квадратных скобочках. Интервал времени для диапазонного вектора указывается очень по-человечески: 1s — одна секунда, 1m — одна минута, 1h — один час, 1d — день. А что, если нужно указать полтора часа? Просто напишите 90m .

Домашнее задание: посмотрите на графики max_over_time и min_over_time .

Типы метрик

Метрики бывают разных типов. Это важно, потому что для разных типов метрик применимы те или иные запросы.

Шкала (gauge). Самый простой тип метрик. Примеры: количество свободной/занятой ОЗУ, load average и т.д.

Счётчик (counter). Похож на шкалу, но предназначен совершенно для других данных. Счётчик может только увеличиваться, поэтому он подходит только для тех метрик, которые по своей природе могут только увеличиваться. Примеры: время работы CPU в определённом режиме (user, system, iowait…), количество запросов к веб-серверу, количество отправленных/принятых сетевых пакетов, количество ошибок. На практике вас не будет интересовать абсолютное значение счётчика, вас будет интересовать первая производная по времени, т.е. скорость роста этого счётчика, например количество запросов в минуту или количество ошибок за день.

Гистограмма (histogram). Я пока не сталкивался с таким типом, поэтому ничего путного не скажу.

Саммари (summaries). Что-то похожее на гистограммы, но другое.

Смотрим счётчики

Посмотрим счётчики на примере сетевого трафика:

Сырое значение счётчика не несёт никакого смысла, его надо оборачивать функцией rate или irate . Эти функции принимают на вход диапазонный вектор, поэтому правильный запрос выглядит так:

В чём разница между rate и irate ? Первая функция для вычисления производной берёт весь диапазон (5 минут в нашем случае), а вторая берёт лишь два последних сэмпла из всего диапазона, чтобы максимально приблизиться к мгновенному значению (первоисточник). Собственно, её название расшифровывается как instant rate.

Почему мы берём диапазонный вектор за 5 минут, а не за 1 или 10? Не знаю. Почему-то так делают во всех примерах и в дашборде Node exporter full тоже так. Для rate получается, что чем меньше интервал, тем больше пиков, а чем больше интервал, тем сильнее их сглаживание. Ну, с математикой не поспоришь. Для irate величина диапазона не имеет значения. На самом деле при определённых обстоятельствах всё-таки имеет, но это настолько тонкий нюанс, что на него можно забить.

Другой вопрос: 1210 — это в каких попугаях? Во-первых смотрим исходную метрику, там явно написано bytes. Функция rate делит исходную размерность на секунды, получается байт в секунду. Вообще Prometheus предпочитает стандартные единицы измерения: секунды, метры, ньютоны и т.п. Как в школе на уроках физики.

Считаем загрузку процессора

С памятью, диском и трафиком понятно, а как посмотреть загрузку процессора? Отвечаю. То, что мы привыкли считать загрузкой процессора в процентах на самом деле вот какая штука: сколько времени (в процентном отношении) процессор не отдыхал, т.е. не находился в режиме idle.

Итак, всё начинается с метрики node_cpu_seconds_total . Сначала посмотрим сколько времени процессор отдыхал:

Возьмём среднее значение по ядрам и переведём в проценты:

Ну и наконец получим загрузку процессора:

Любопытно, что сумма всех режимов работы процессора никогда не доходит до 100% времени:

Почему так? Хороший вопрос. Я подозреваю, что оставшаяся часть времени уходит на переключение контекста процессора. Получается, что загрузка процессора, полученная по формуле выше, будет чуть-чуть завышенной. В действительности можно не переживать по этому поводу, потому что погрешность получается незначительная. Это просто у меня anotherhost работает на старом процессоре Intel Atom. На нормальных взрослых процессорах погрешность не превышает десятые доли процента.

И это всё?

Думаю, на сегодня достаточно. Да, я рассказал не про все возможности PromQL. Например, за кадром остались операторы ignoring и on , логические and и or а также сдвиг offset . Есть всякие интересности типа производной по времени deriv или предсказателя будущего predict_linear . При желании вы сможете почитать про них в документации: операторы и функции. Я же вернусь к ним, когда мы будем решать практические задачи мониторинга.

Проверка оставшихся гигабайт интернета через личный кабинет

Аналогичным способом можете проверить израсходованный трафик через личный кабинет на сайте. Для этого пройдите несколько простых шагов:

1. Зайдите на сайт https://online.mts.ru/.
2. Нажмите на строку «Мой МТС. Личный кабинет», которая находится вверху страницы. Она располагается прямо посередине.
3. Авторизуйтесь в системе, введя логин и пароль.
4. На открывшейся странице перейдите в раздел «Мой баланс».
5. Нажмите на категорию «Пакеты услуг».
6. Появится вся информация об интернет-трафике, смс, звонках.
7. Если хотите получить более подробную информацию, то в нижней части странице кликните по кнопке «Детальная информация».
8. Появится окно, в котором будут содержаться все сведения об израсходованном трафике. Можете посмотреть данные только за конкретный период, в соответствующем окне указав нужный интервал (за неделю, за месяц, за год и т.п.).

Заключение

Зарабатывать в интернете оказалось сложнее, чем вы могли подумать в начале. Для старта требуются кругленькие суммы, без которых начинать заниматься продажей трафика будет очень затруднительно. В этом случае все зависит только от вас: насколько качественной будет проделанная работа, на сколько проект будет успешен и какие деньги вы готовы потратить, чтобы был хотя бы небольшой доход.

Биржи помогут вам начать зарабатывать. Найдите рекламодателей с подходящими для вас условиями и принимайтесь получать деньги.

Маркетолог, вебмастер, блогер с 2011 года. Люблю WordPress, Email маркетинг, Camtasia Studio, партнерские программы)) Создаю сайты и лендинги под ключ НЕДОРОГО. Обучаю созданию и продвижению (SEO) сайтов в поисковых системах.