Добрый день всем! В связи с началом автоматизации своего трейдинга решил провести опрос и том кто и как тестирует свои системы, сразу скажу, что я в начале этого пути, строю тестирую в ТС Лабе. Прочитал некоторую литературу, посмотрел некоторые видео, но к конкретного ответа так и не нашел. Дак как же все таки правильно тестировать свой алгоритм.
Имеется ввиду на какой истории грамотно и правильно тестировать тот или иной алгоритм, в зависимости от тайм фрейма на котором работает алгоритм или же на разных участаках выборочно, где вы считаете рынок был в разных фазах и т.д.
От одних источников я слышал, что тестировать и соответственно оптимизировать алгоритм нужно в зависимости от тайм фрейма, то есть минутки нужно тестировать на сравнительно небольшом тайм фрейме не более месяца, 5-минутки от 1 до3 месяцев или последний фьюч, часовики от полугода до года и уже на этих периодах проводить оптимизацию, так как считается что чем меньше тайм фрейм тем более рынок изменчив и данные прошлых лет учитывать не нужно.

От других источников слышал, что неважно какой алгоритм и тайм фрейм тестирование и оптимизацию необходимо проводить на длителном промежутке времени несколько лет как минимум, так как бытует мнение, чем лучше и стабильнее на длительном промежутке времени работает система, тем лучше. Читаю книгу, посоветанную мне Роберта Прадо, пока не дочитал, но как то все там размыто сильно написано.
Короче я запутался и прошу опытных алгосистемщиков рассказать в кратце, с чего начинать, может кто ссылку даст на сайт или видео, где без мыла и воды пишут или говорят как правильно подойти к этому вопросу.
У меня есть несколько алгоритмов не сложных на разных таймах, прошу написать свои идею кто и как тестирует свои системы.
Тестируя на данных последнего фьюча одни результаты, тестируя на данных за несколько лет — другие, отличаются не сильно, но допустим на длительном периоде с одними параметрами и переменными система работоспособна и дает положительный результат, но последний месяц, два она держится 0 или легком плюсе, на что больше, то есть на какой период больше обращать внимание? на более ближний или же в целом на несколько лет.
Какие результаты для запуска в реальную торговлю будут актуальными на данный момент?
Если не сложно, в общем и «своим языком» без мыла и воды на каком периоде рассматриваете работоспособность системы и тестируете на исторических данных и соответственно уже проводите оптимизацию?
1 мин
5 мин
15 мин
и часовик
Заранее спасибо за ответы)

вода у нас по 5копееек а мыло по рублю.
друг мой, вы определитесь на каком рынке каким салом тоговать будите от этого прилавка и пойдем..... я лично считаю то алкотрейдерам нет смысла торговать на часах и более, инфраструктурные затраты просто безсмысленно раскидывать. и об опримизации на форуме много споров постоянно , сдесь есть истина , но которая ваша - вам решать. точнее я бы отдал это на откуп алгоритму роджающемуся в вашем восполённом мозгу.

спасибо за ответ дорогой мой друг), про оптимизацию в принципе вопроса не было, главный вопрос в теме: про период тестирования, какой выбрать для тайм фрейма 1-5-15 мин: несколько лет, последний год или же ближайший месяц два, вот в чем вопрос)
"Тестируя на данных последнего фьюча одни результаты, тестируя на данных за несколько лет — другие, отличаются не сильно, но допустим на длительном периоде с одними параметрами и переменными система работоспособна и дает положительный результат, но последний месяц, два она держится 0 или легком плюсе, на что больше, то есть на какой период больше обращать внимание и добиваться от системы лучшего результата? на более ближний или же в целом на несколько лет.
Какие результаты для запуска в реальную торговлю будут актуальными на данный момент?"

Чем больше истории участвует при проверке тем лучше, а при разработки наоборот, так как разработали на годе - проверили на 4-х лучше чем разработали на месяце - проверили на годе, и независимо от тайма, чем больше истории при проверки тем лучше, другое дело понимать что некоторых типов рынка уже не когда не будет, и на это надо давать скидку но и там он не должен лить все равно, по крайней мере стоять

Могу поделиться своим подходом в тестировании. На истину не претендую, но тем не менее делаю так.
Собираю скрипт на текущем контракте, сколько есть данных, столько и беру( пример, на RIZ4 данные накоплены с 8 сентября). Замечу, тестирую только!!! на данных накопленных с сервера, потому что так могу взять именно то, что требуется для работы в скрипте. На текстовых почти ничего нет.
Дальше. Собрал, запустил, глянул что да как работает, какая статистика по результатам. Если скрипт предполагает поск оптимальных параметров, оптимизирую. Получив наилучшие результаты для текущего куска истории, увеличиваю данные на склейку ранее накопленной истории. Если алгоритм живой и содержит признаки стабильности, то результаты теста на склейке будут приемлемые (т.е. нет слива депо, пусть и не 10000% в месяц). Если есть откровенный слив, то лучше забыть про такую систему. Ну а дальше ,.... тестим на всей доступной истории, оптимизируем, если есть что, "подкручиваем" входы-выходы, т.е. ищем то состояние самого алгоритма, при котором на тестировании наблюдаем самые приемлемые, с вашей точки зрения конечно, статистические результаты, характер кривой эквити и т.д., т.е. то,что вами признаётся за главные и важные параметры системы. Ну , вот так , если коротко.
Иными словами, суть тестирования- проверить, как результаты сегодняшние, воспроизводятся на прошлом, а не наоборот.

"Иными словами, суть тестирования- проверить, как результаты сегодняшние, воспроизводятся на прошлом, а не наоборот."

Оч.интересно....идет вразрез с общепринятой логикой тестирования....НО главное - результат и судя по трансляции - все ОК ! Удачи..)

Думаю, Вы правы, главное результат. А по поводу общепризнанной логики, большой вопрос. Я всегда держу в уме правило: доверяя-проверяй. Поэтому, общие правила у меня, проверку проходят не всегда! Общие правила культивируют для удобства манипулирования трейдерами, нужно помнить и об этом.

+1 только личный опыт :))

даже личный опыт может быть формализован до набора правел.
лучший тест для себя как для разработчика это разработка робота на инструмент по которому мало или очень мало истории. получилос - честь и хвала!

Лично я для себя в самом начале определял на каком интервале торговать, ИМХО тут все от характера зависит, вот я не могу сидеть и час ждать пока оно в сделку войдет потому начинал с 15 минут, но пробовал и 5 минутки и 1 минутки. Остановился на 5 минутках пока.

Объем тестирования, как писали в какой то книге должен быть "статистически значимым". Для своих стратегий я беру для оптимизации данные за 2 года (5 минуток), потом отбрасываю результаты где сделок было меньше 100. Как то так...

В этом и кроется "загадка", что же принимать за "статистически значимое". Для нашего рынка нужно писать особенный учебник.

в статистике есть такое понятие как доверительный интервал. по числу наблюдений можно определить среднее-то есть матожидание и доверительный интервал для этого МО. Для малого числа наблюдений среднее может оказаться слишком приблизительной оценкой распределения с широким доверительным интервалом.
Поэтому статистически значимое = значит с заданным числом наблюдений можно утверждать что среднее лежит в заданных пределах и БОЛЬШЕ нуля, то есть в среднем мы зарабатываем. как то так

Всем привет!
Только начал разбираться с написанием торговых систем на TSlab и столкнулся с такой проблемой. Тестируя на склеенном файле ТС показала очень хороший результат, но потом я сменил поставщика данных в режиме онлайн и на том же временном отрезке ТС показала отрицательный результат. Что делать и чему верить?

Сделать дубль скрипта: один на исторических данных, другой на реальных.

Открыть один график со сделками под другим и "ручками" пересмотреть сделок 100, анализируя все ли правильно/идентично.

Так вскроется более конкретная причина расхождения, с корой можно будет работать.

Найдешь проблему - скрины в студию, поможем;)

Родион, а если более конкретные ориентиры?:
1) вариант стендовика, длительность 2 года, 5 минут фрейм - статистически значимое количество сделок отдельно по лонг - от 150 к примеру.
2) скальпер 15 секунд - период 1 год, статистически значимое количество сделок - от 50 в день...

Какие-то такие приблизительные ориентиры можешь кинуть? или формулу расчета?

Признаюсь - учебник, который советовал еще не открывал, не успеваю:)

Ну Булашов, статистика для трейдера. Там подробно расписано как искать доверительный интервал. Там вообще все подробно. Он зависит только от числа, собственно, измерений, то есть по факту сделок. МО это среднее, вот доверительный интервал МО, то есть вероятность того что в реале таки МО будет таким как нарисовалось, мы и будем искать. А как = читайте Булашова.
Один раз посчитаете, потом будете тыщу раз использовать, так как там все просто. В экселе нарисуете и все.

Поспорил бы с вами Родион что Булашев это просто, у меня есть некие алгоритмы по этой книге, но над ними потел уж очень долго(больше 3 месяцев бессонных ночей). Но доверительный интервал я все таки до конца не понял!!

Ну я не обещал что там будут учить азам . Но в общем и целом проще вряд ли можно найти. Засим - своим трудом узнаем через пот и кровь, тогда и польза будет .

Вот, на реальных данных свечи какие-то не полные график рваный. Я в некотором замешательстве. В чем тут может быть проблема?

Ну а что вы хотите от фьючерса который еще не расторгован?

В каком смысле не расторгован? Поясните пожалуйста!

Это фьючерс, который на момент скриншота не являлся основным, т.е. в это время основные торги шли по фьючу на ртс, только с исполнением раньше.

Соответственно люди совершали сделки по указанному фьючерсу только в случае необходимости хеджирования позиции на пол года, а не на 3 месяца.... Или по другим, достаточно редким причинам.

Поэтому и сделки в этом фьючерсе редкие, штучшие. По мере приближения фьючерса к экспирации мартовского контракта ликвидность (расторгованность) фьючерса увеличивается.

Все таки не могу понять, это фьючерс РТС, я взял исторические данные за два года 2013-2014, равный отрезок времени, к настоящему они не имеют никакого отношения. Я чего-то не понимаю всё таки?

Это уж точно!

На скрине фьючерс 6.15 - исполнение в июне 2015 года. Период - декабрь 2014. В этот момент активно торговался фьючерс 3.15 -
исполнение в марте 2015.
На склейке, которую Вы скачали и где все правильно и красиво, используются данные торгов как раз более ликвидного в тот момент фьючерса 3.15.
Не знаю как еще объяснить. Это прям совсем азы.

В общем уважаемый Vengo - если сами не сможете разобраться в своем вопросе, лучше не вставайте на путь торговли. Или пока не разберетесь!... Причем желательно самостоятельно. Совет от души.

Ну вот, теперь понятно!) Спасибо!

наткнулся в тырнете на документ, как раз про средние и доверительные интервалы. Познавательно и с картинками
http://www.labrate.ru/discus/messages/33870/_______________-37899.pdf пожалуйста