Настройка уведомлений о сбоях на телефон/планшет

Здравствуйте, коллеги!

Последние два дня посвятил настройке sms/push-уведомлений о сбоях в работе боевых роботов. Хочу поделиться найденным решением, может кому-то будет интересно.

Итак, в TSLab есть замечательный "Менеджер уведомлений", в котором можно настроить отправку email на указанный почтовый ящик при возникновении внештатной ситуации.

Для себя я использую фильтр:
"Пропускать события у которых тип равен Ошибки"

Остается открытым вопрос - как отследить момент, когда приходит письмо?

Владельцы iPad/Samsung Tab могут настроить push-уведомления о приходе новых сообщений на почтовый ящик, но такой способ требует постоянного наличия Интернета на планшете, т.е. в метро сработает плохо. SMS подойдет намного лучше. Существует множество платных email/SMS-гейтов, которые перенаправляют все почту с определенного ящика по SMS, однако я попытался найти надежное бесплатное решение.

mail.ru предоставляет для сотовых операторов большой тройки бесплатное уведомление о приходе нового письма, однако есть ряд ограничений:
1) Уведомление приходит не чаще раза в 30 минут
2) В тексте SMS не содержится текст ошибки, а лишь уведомление вида "Вам пришло письмо".

После долгих поисков, я обнаружил услугу "МегаФон Почта", которая имеет бесплатную "легкую" версию.

http://moscow.megafon.ru/services/communicate/megafon_pochta.html

Подключив эту услугу, мы получаем почтовый ящик вида:
792YXXXXXXX@megafon.mobi

При поступлении на этот адрес нового письма, на сотовый телефон приходит сообщение (по моим замерам, в течение 2 минут), которое содержит уведомление о приходе почты и, что самое главное, заголовок письма. Настроив отсылку ошибок TSLab на этот ящик, получаем достаточно сердитое решение по мониторингу роботов.
Приятно, что если за небольшой промежуток времени случилось несколько аварийных событий, мы получим только одну SMS, содержащее заголовки каждого из них.

неприятное ограничение 200 SMS-уведомлений в сутки. оно может быть превышено за один сбой сервера, или если, к примеру, высылать увеломления о заявках.

Как я уже писал, события за небольшой промежуток времени агрегируются в одну SMS. Это немного выправляет ситуацию, когда сервер поднимается после отсутствия электричества, или Интернета.
А получать больше 200 SMS в день - лучше уж все время у компа сидеть, чем так мучаться

Свои 5 копеек вставлю. По роду деятельности много разьездов и встреч, но необходимо быть online почти всегда. У мегафона все хорошо с 3G даже в метро. Условные анлим тарифы есть. iPad + мегафон всегда дают возможность видеть рабочую почту. Это все к тому сто смс это все здорово, но не слишком ли избыточно ?

как-то ra81 предложил скрипт, который будет раз в час например генерировать сообщение типа "всё отлично, торговля идёт!!!", 200 смс в день, эт перебор

я сообщения в аську использую.
за день приходит больше 200 сообшений.

andy, у меня тоже всегда с собой планшетка с RDP-клиентом (сейчас использую PocketCloud). Но хочется плавно двигаться к мечте - максимальной автоматизации процесса трейдинга без моего участия. После настройки SMS-уведомлений перестал следить за рынком вообще. Уже несколько дней смотрю на роботов лишь 2 раза в день - утром и вечером. И живется довольно спокойно, потому что знаю, что если что-то глобально пойдет не так - придет SMS'ка. Сейчас пишу систему дублированной слежки с мониторингом логов TSLab и их парсингом, расположенной на двух раздельных серверах. Одна прога следит за логами TSLab'а и за второй прогой. Вторая прога следит за первой прогой. Если что-то не так с первым сервером/TSLab- прога на втором сервере шлет мне SMS. Если сдох второй сервер, прога с первого сервера шлет мне SMS.

Такая схема гарантирует отказоустойчивость при любом раскладе, кроме падение двух серверов одновременно.

Я не параноик, просто надоело все время следить за роботами и хочется спокойной жизни

каждому своё наверное, я что-то махнул на эти сообщения и не дёргаюсь, как идёт - так идёт

ZooR, тоже думал над таким скриптом, запущенном в качестве робота в TSLab'е, но он, к сожалению, не видит процессы происходящие в других роботах. На данный момент самым универсальным нашел процесс парсинга логов TSLab. Из них можно вытащить даже текущую позицию по каждой бумаге (в случае Transaq, по крайней мере).
Конечно очень бы помог API, с помощью которого можно было бы мониторить процессы, происходящие в ТСЛабе и роботах, но пока приходится довольствоваться тем, что есть.

а если телефон сядет, то есть второй, а на первом стоит переадресация на второй

без обид, шучу, реально интересен подобный опыт

раскажите если не тяжело. что такое парсинг логов и как он организовывается?

ZooR, кроме шуток, у меня два телефона с переадресацией друг на друга и планшетка
Сбои дорого обходятся, к сожалению, поэтому приходится страховаться

ZooR, вот здесь "Инструменты->Папка с логами" лежит файл tslab.log, в котором хранятся логи за день. Файл постоянно обновляется и его можно читать, парсить и как-то реагировать на содержимое.

на самом деле, это нормальный подход

ZooR, был опыт в 2000-х годах с круглосуточной (с часовым перерывом на клиринг) роботизированной торговлей фьючерсами на валюты CME лимитками. Дежурило два человека по-очереди, не смотря на робота, который контролировал робота. TSLab действительно сильный продукт, который позволяет немного расслабиться. Пользуясь случаем, хочу еще раз сказать "спасибо" разработчикам

через какую программу читаете лог? вы програмист?

спрашиваю, потому что не ориентируюсь в этом, и вообще спасибо, что поделились своими решениями

ZooR, да программист. Алгоритм мониторинга изменений лога - отдельная тема. Лог переименовывается раз в сутки, поэтому нужно читать его без блокировки для записи, чтобы не мешать TSLab'у в него писать.
За опыт - всегда пожалуйста. Участники данного форума очень многому меня научили, поэтому хочу поделиться чем-то полезным в ответ.

Спасибо за информацию, весьма полезно

вообще не сложно написать простую приблуду для google календарь. В случае чего ваш скрипт туда шлет мессадж. А дальше гугл уже разруливает на все ваши телефоны. Сколько штук в день можно не знаю, иногда боты загоняли слали просто немеряно телефон не затыкался в течение очень короткого времени. Но лимиты есть конечно.
АПИ для разработки есть. Пишется на коленке.

ЭТо смысле чтобы в обход стандартной приблуды ТСЛаба слать уже напрямую сообщения куда надо.

ra81, да, тоже веду разработку такой приблуды. Парсить логи и слать письма она уже умеет, осталось доделать механизм контроля дублирующей программой.

Про Гугл-календарь читал на Хабре, что там четкого ограничения по количеству SMS'ок нет, но если их слать часто, то срабатывает механизм по ограничению, и они начинают случайным образом теряться. Мегафоновские SMSки пока выглядят самыми быстрыми и надежными из того, что я протестировал.

Кстати, было бы классно добавить в число "Обработчиков уведомлений", помимо "Системный трей", "Аудиофайл", "E-mail", еще и пункт "Программа", который бы запускал exe/bat файл.

Если Вы можете получить на телефон SMS, значит телефон может быть подключен к интернету.
Безлимитный интернет у сотовых операторов сейчас стоит 7 рубл в сутки, и это еще дорого, можно найти дешевле.
Зачем делать приблуды и терять 2 минуты времени на каждом сообщении, когда письма настроенные на GMAIL из TSLab приходят в течении 400мс ?
Или я чего-то не понимаю, объясните плиз зачем SMS нужны?

777, пользуюсь планшеткой с Android и установленным штатным клиентом GMail. Интернет - "безлимитный" от Мегафона.
Насколько понимаю, 400 мс - это время, за которое почта доходит от TSLab до сервера gmail?
Как только это произошло, я должен узнать, что в ящике появилось письмо, чтобы среагировать на проблему. Штатный GMail'овский клиент получает push-сообщение и отображает его на экране планшетки в течение 5 минут, по моим замерам. Это при наличии устойчивого Интернета. Если в это время я еду в метро, это время возрастает еще на несколько минут - опять же, замерял. Если уехать в другую страну, то телефон перейдет на роуминг и продолжит получать SMS, а вот для появления Интернета, обычно, необходимо проделать дополнительные манипуляции. Среагировать на проблему можно, в крайнем случае, из Интернет-кафе или по Wi-Fi отеля.

P.S. Не претендую на то, что мое решение лучшее. Буду признателен, если кто-то предложит другой подходящий вариант мониторинга роботов.

400мс это с паркинга. Программа на паркинге. Разработчики оптимизировали систему оповещений именно с gmail, я узнавал.
Я то же частенько катаюсь, никогда не возникало проблем с переходом инета у билайна на orange (катаюсь только по европе). Это автоматическое переключение можно настроить в личном кабинете на сайте билайна. В Москве то же бываю, еще реже в метро, но вроде никогда не испытывал таких проблем. Может дело в операторе радио частот? Хотя у меня был долгое время DX900 с подключенным билайном и мегафоном, разница была заметна только на юге страны, да и то эта разница почти не видна вооруженным взглядом.
По поводу android к сожалению мало чего знаю, особо не пользовался. Хотя дома где-то валяется похожая игрушка-книжка. Как то к ним по другому не относился никогда . Возможно на этой операционной системе действительно такие большие проблемы с отображением получаемых данных.
Но тогда возможно будет проще отказаться от ее использования ?
Я пользую обычные КПК на windows, какие только оповещения о новых e-mail нельзя сделать, можно даже голос записать, и вибро включить. По-дороже конечно, чем книжки, если какой-то супер новый кпк, но мне кажется удобнее пользоваться. Да и по размеру много меньше. К арендованному серверу подключится то же не составляет проблем.
К слову, если часто бываете в двух странах, то лучше присмотреться к КПК для двух операторов радио частот.

Можете сказать конкретно, что вы вытаскиваете из логов того чего невозможно получить через события? Просто парсинг текстовых файлов непростое дело, если только не искать по каким-то заданным словам. Причем надо учитывать, что формат сообщений можем поменять в любой момент. И не специально чтобы ваш парсинг слетел . Самое частое, в строку просто добавляется вывод еще одного параметра, по разбору какого-нибудь замечания от пользователя. Лучше ориентироваться на открытые каналы получения информации.

Кстати можно тупо кубик нарисовать для отправки СМС. И прилепить туда как мегафон, так и гуглкалендарь. Благо гугл не требует подключать именно мегафон, позволяет подключать несколько телефонов, позволяет зайти на сайт и посмотреть содержимое смс(у меня в смс обычно ошибка улетает и на трубе ее прочитать часто нереально :)). Работает он быстро в течение секунд в основном. Иногда задержки. Думаю мегафон так же. Халявные сервисы они такие. Надо гарантий есть платные.

777, спасибо за такой развернутный ответ
Расскажите пожалуйста каким именно софтом на КПК пользуетесь для уведомления о новой почте. Тут дело не в Android/Windows- уверен, что под каждой ОС есть соответствующий софт.
Мегафоновские SMS доходят, в среднем, за 30 секунд. 2 минуты - это было предельное значение, которое я зафиксировал. В принципе, для моего стиля торговли этого достаточно, но все же было бы интересно узнать, как именно это работает у Вас.
Билайн в метро не пробовал, но слышал много положительных отзывов. Нужно присмотреться к нему

pasha, первое, и самое главное, что вытаскиваю из логов- если логи меняются, значит TSLab запущен и не завис. Пожалуй, это единственное, что невозможно построить с помощью событийной модели TSLab. После этого смотрю на состояние соединения и спускаюсь на уровень сообщений от роботов.
Бывало несколько случаев (и в 1.1, и в 1.2), когда TSLab запущен, есть соединение, скрипты пересчитываются, но некоторые из них - зависли. Т.е. от них вообще перестают появляться сообщения в логах. Пока не перезапустил каждый из них по-отдельности, они продолжали "висеть". Сейчас такое поведение также отслеживаю через логи. Со временем хочу добавить мониторинг присутствующих в данный момент в системе заявок и совпадение балансов по скриптам с общим балансом по бумаге. Но, в принципе, то что есть уже работает приемлимо. Ну, и конечно, ближайшее время также будет отслеживаться отсутствие питания/Интернета на сервере. Это будет делать вспомогательная программа, запущенная в другой серверной, которая будет связываться с первой программой.
Формат логов полностью устраивает, к изменению формата морально готов - в этом случае получу SMS'ку об изменении формата На открытые каналы получения информации ориентироваться был бы рад, но ведь пока нет сервисного API, которое позволяло хотя бы получать сводную информацию о скриптах из таблицы "Управление агентами", и запускать/останавливать скрипты. Понимаю, что есть более приоритетные задачи.
По "менеджеру уведомлений" тоже было бы неплохо добавить логику для связки событий между собой вида "и", "или" и "не". Тогда система стала бы по-настоящему гибкой. Сейчас присутствует только логика "и". Также не совсем верно, что пароль к smtp-серверу хранится в открытом виде без звездочек. Но это уже мелочь.

ra81, согласен, халява всегда была ненадежной Насчет кубика - предлагаю сделать кубик, генерирующий событие (т.е. некоторую строчку в логах) и тип обработчика событий "Программа", который при поступлении знакомого события запустит bat/exe файл с параметром. Этот файл может отослать SMS или сделать еще что-нибудь полезное (например, принудительный рестарт сервера).

Ну сделать новый обработчик я не могу. Это к разрабам. Ну а кубик который заводит внешний файл, это ж вообще не проблема кажется.

Да, согласен, сейчас это невозможно понять. Да и в принципе это возможно понять только с помощью внешней программы, так как если TSLab завис, то он уже ничего не пошлет . Это можно было бы сделать на принципе, что TSLab все время что-то посылает с какой-то периодичностью, но этот принцип не нравится. Если есть другие предложения, мы всегда рады их рассмотреть и реализовать. Как часто в последнее время зависает TSLab? Насколько востребована эта функциональность?

Это для нас новость. Мы у себя с таким не сталкивались, но если проблема есть, то она непростая. Было бы здорово, если бы Вы в такой ситуации в следующий раз не поленились и прислали бы лог. Может он и ничего не покажет, но с чего-то надо начинать. Какие-то предположения или закономерности есть?

В данном случае я говорил только про канал уведомлений. Через него идет весь поток сообщений (в лог пишется гораздо больше информации, но эта служебная информация, для разбора ситуаций). Из скрипта можно посылать свои соообщения. Также, просто это не отражено в документации, он расширяемый, можно добавлять свои обрабочики сообщений. Они будут подхватываться при старте программы, примерно по такому же принципу как внешние индикаторы. Если есть интерес, я могу это описать, например в блоге, пока этого нет в документации. В качестве примера можно описать как сделать запуск .ехе, хотя смысла в этом не вижу, лучше сразу делать действие в обработчике, например отсылать смс, вместо того чтобы запускать программу которая пошлет смс.
Насчет "не", "или" полностью согласен, мы знаем об этом, но их реализация требует переработки интерфейса менеджера уведомлений, а это уже другая по трудоемкости задача. Вообще есть твердое желание переработать интерфейс менеджера уведомлений, чтобы он был более "user friendly", но как правильно заметили, пока хватает более срочных задач.
Насчет пароля, в последних сборках прикрыли звездочками. Извиняюсь, при переходе на телериковский контрол сразу не получилось реализовать.

Было бы неплохо почитать для знаний. Можно итак подсмотреть конечно но более муторно.

Вам спасибо, за спасибо!
Загружен ProfiMail, но насколько я слышал, сейчас много mail агентов, поддерживающих звук и выгрузку с сервера реал-тайм.

Несколько раз в теме пробегало про запуск МояПрограмма.exe с событием от TSLaba и ни одного примера, дайте, пожалуйста.
Надо запустить свою программу от события TSLaba, а параметром чтоб было сообщение в кавычках, так как там пробелы, из окошка "Сообщения" типа:

16:45:01.62 100 Скрипт: 'sys9' Скрипт выполнен успешно за 4мс. (1500 баров, время 11.07.2013 16:40:00)

Если как-то через скрипт, то там можно сразу по номерам сообщения (в примере, цифра 100) делать фильтр или сам сделаю, запустите только мою программу и дайте ей ввиде параметра сообщение

Добавлю, интересуют только события о разрыве/подключении к серверу и открылись/закрылись с ценами и кол-вом.

Пока это возможно только если написать собственный обработчик сообщений. А в чем смысл запуска программы? Что она будет делать?

Как его написать, пример или наводку?

В теме писали что можно разбирать лог - это долго писать + всё равно делать отправку, тогда уже лучше сделать свой простейший smtp-сервер на localhost и полученное письмо от TSLab передавать параметром своей sms программе (она так от других получает данные для отсыла) - это быстрей я сделаю, но всё равно не на 5 минут делов.



У меня есть пара программ торговых (не имеют отношения к TSLab) они мне шлют СМС при некоторых событиях (считанные СМС в день) когда надо на заметное время отойти от компа (активируется руками, чтоб не слали потоком) вот и хочу чтоб TSLab делал подобное.

Я что-то подобное предполагал. Просите сделать прокладку, чтобы потом с помощью напильника все это соединять...
В блоге http://tslab.wordpress.com/ есть статьи как сделать самодельный обработчик. В качестве примера простейший обработчик посылки смс. Т.е. посылаем сразу непосредственно, без обработчиков-прокладок и внешних программ. Планируется сделать и добавить в поставку TSLab полноценный обработчик смс, но все никак по времени не получается сделать.
Если будут вопросы, задавайте в техподдержку.

Не, прокладку думал делать сам. И вчера её сделал, а потом увидел ваше сообщение. За сообщение и способ спасибо - пригодится.

Что-то зачастили у меня красные строчки, на номер не обращал внимания, а сейчас обратил, почему-то он одинаковый в этих двух строках:
10:10:02.24 100 Скрипт: 'script_sys10' Скрипт выполнен успешно за 3мс. (1000 баров, время 19.07.2013 10:05:00)
10:10:02.24 100 Скрипт: 'script_sys10' Пропущен сигнал 'SX.ML' выхода из позиции для заявки открытия номер 2175008923. Требуется вмешательство через Менеджер Команд.

Явно строка с "Требуется вмешательство" хочет другой номер, нет?

Добрый день!
Настроил себе уведомления на Мегафон-Почту по совету voxatu. На следующие события
1 — Подключение к поставщику данных;
2 — Отключение от поставщика данных;
133 — Проблема со стоп заявкой;
135 — Пропущен сигнал входа в позицию;
136 — Пропущен сигнал выхода из позиции;
139 — Ошибка скрипта;
143 — Истек срок контейнера;
206 — Проблема с выставлением заявки.
Вполне удобно, через 3 минуты приходит СМС. Но остается нерешенной проблема:
Как настроить уведомление о перезагрузке сервера на паркинге? У нужного мне паркинга такой услуги нет. Подскажите, кто нашел решение.

Уверен, что есть и более удобные решения, так как к программе это никак не относится.
Но средствами программы можно сделать следующее:
Запустить агента допустим с пересчетом 5 минут, с малой историей, например 5 баров, что бы не грузил систему.
Настроить уведомления на пересчет этого агента, если в течении 5 минут сообщения нет, значит какая-то проблема. Собственно она же будет означать, что сервер потерял связь с внешним миром.

Проверку того что тслаб не висит/слетел и что сервер в сети сделал так же как ViL описал. Так же сделал алерты при перезагрузке самого сервера, на случай что винда блюскрин выдаст или в ЦОД свет упадет или еще какая бяка всплывет.

Отказался от смс и имеил в пользу телеграм-ботов, быстрее и удобнее ничего нет!

можно поподробнее как и что

в личку написал

Тут ищется напильник коннекта на скайп. Есть даже чебурашка

Всем доброго времени дня! Я так понял, что уже освоили пуш уведомления в телеграм? Подскажите, можно ли это сделать самому и насколько сложно(c# только начал изучать..)? А в идеале, если не жалко, поделитесь готовым решением)

готовое решение есть, но можем только продать. по определенным причинам.

Справедливо) тогда можно узнать цену вопроса? Или это уже в личку?

в личке