Оптимизируя и настраивая свои системы, я исхожу из одного простого принципа: чем больший кусок истории взят, чем больше сделок проведено на истории, тем больше вероятность, что система продолжится аналогичным образом и в будущем.
Так, для своих основанных на 15-минутных чартах системах, в качестве точки отсчета я использую отрывок с 2009 года. [прилагаю пример jpeg]
Совет который я хочу попросить у опытных пользователей звучит так:
а) на сколько, по вашему мнению, обоснован такой способ оптимизации; что говорит ваш опыт? Значительно ли результаты на практике отличаются от результатов системы на "длинной истории"?
б) На всех моих 15-минутных системах, оптимизируемых таким образом, я заметил, что начиная с 2012 года кривая доходности значительно снижает возрастающий угол наклона, а на некоторых системах становится и вовсе горизонтальной(но не отрицательной). Если принять, что с 2012 года рынок изменился, то переоптимизировав систему не с 2009 года, а с 2012 можно значительно улучшить результат. Но в таком случае я нарушу свой принцип "длинной истории" - если в последствие рынок вернется к состоянию _до_2012 то кривая будет уже не ~горизонтальной, а отрицательной.
в) Многие пишут о "форвардном" тестирование (последовательном добавлении в выборку все новых порций баров, для проверки системы на стабильность роста кривой эквити). Этот метод я не использую.
Возникает вопрос: форвардное тестирование не тоже ли самое что и тестирование на длинном периоде? Ведь в итоге, если бы я тестировал & оптимизировал систему с 2009 года порциями по несколько месяцев, к текущему моменту я неизбежно пришел бы к тем же параметрам, какие ставил изначально, тестируя систему на большом отрезке 2009-2013+
г) А что, кстати, изменилось с 2012 года? [именно с 2012 года большинство моих трендследящих скриптов показывают ~горизонтальную кривую equity] В чем принципиальная разница с предыдущими годами? Возможно ли формализованное выявление этой фазы рынка [понятно, что в этом случае принцип изменения системы выглядел бы примерно так: характеррынкаX->параметрыX|характеррынкаY>ПараметрыY]? Может быть, какой-нибудь индикатор на более крупном таймфрейме дает ответ на этот вопрос?

если у знаешь что изменилось на рынке - обязательно скажи нам! у меня сложилось впечатление что только 2-3 человека на форуме знают или догадываются об этом.
форвардное тестирование дает возможность панять не переоптимизированная ли система , не заточена ли она под конкретные даные. форвардное тестирование это тестирование на данных которых система не знала до этого. просто представь что включил скрипт реальную торговлю и ни кто не знает какие данные ему поступят. некоторые запускают его в лаборатории к реальному счету.
на форуме много дискусий по этому поводу, есть рациональное зерно во многих. очень интересно гдето было о количестве сделок на интервале тестирования

У меня есть алгоритм который на одних настройках прекрасно себя проявлял в 2009 и 2011 годах, а на других настройка в 2010 и 2012 годах, для себя я решил торговать несколько таких скриптов с разными настройками, плюс в некоторые фильтры зашиты, на последнем контракте(RIM) все шикарно отработало как в лаборатории(гепов особо не было)

в 12 году с августа где-то сломалось очень много систем.

Вот здесь Механизатор (Кургузкин)даёт довольно подробный метод кросс-валидации (форвард - частный случай этого метода).
Попробуйте прогнать, может что-то прояснится (и в скрипте и в голове..:-))
http://www.wave-trading.ru/post/kross-validatsiya-cross-validation-304

самое минимальное что нужно сделать - это форвард тест, без него никуда.для форварда 1/3 от истории

если таймфрейм 15 минутки беру историю с 2008

для более краткосрочных либо использующих определённую закономерность - с 2011

у меня на конец 2012 в живых осталось 2 системы ), остальные сделаны в 2013

всё имхо

и как реально это применять в отношении тслаб?

А при чем здесь ТСлаб? Метод не привязан к конкретной системе, но сделать рекомендуемый анализ с помощью ТСлаб конечно легче..

вот и вопрос, как сделать такой анализ с помощью Тслаб. мне представляетя это очень трудоемко.

Да вроде бы основной посыл понятен параметры подбираются (оптимизируются)на одном участке исторических данных, а затем проверяются на другом..
Ну а порядок разбивки всего массива данных, количество тестовых и "тренировочных" участков и их длина и порядок чередования и пр. тут имхо единых рекомендаций нет, всё щупать и прикидывать самому...