Последнее время мучает мысль, что постоянно при тестировании алгоритма попадаю на переоптимизацию. Я бы даже сказал, что уже параноя какая-то по этому поводу!
Хотелось бы просто для себя понять, что можно считать правильной оптимизацией, а что т.н. подгоном. Возьмем такой пример:

Простейшая стратегия на пересечении МА. Начинаем тестить: меняем разные типа средних и через оптимизацию их параметры. Выбираем лучший вариант. Переоптимизация или все же нормальный подход? Я же не могу руками перебирать все возможные варианты - их просто несметное кол-во!

Идем дальше. Ставим трейл. стопы и снова пускаем оптимизацию по ним. Выбираем лучший вариант. Да, кое-где в сделках можно будет увидеть супер подогнанный вариант стопа, где до него не дошла цена буквально 5 пунктов, а потом все ушло в прибыль - такое считать за переоптимизацию? Думаю, вряд ли! Опять же торгуя руками, стоп ставиться "на глаз", в данном же случае программа просто подбирает средний наиболее приемлемый вариант для длительной истории.

Также важным моментом является период тестирования. Ведь если взять, скажем, месяц, то там действительно можно получить неадекватный результат. В тоже время слишком длинная история также этот результат искажает в силу таких серьезных изменений на рынке, как появление огромного числа робот, рост объем, снижение волатильности (из-за роботов) и т.д.

В общем, очень бы было интересно послушать мнения опытных людей - кто и как к данной ситуации относиться!

Не знаю насколько я опытен в подобных процессах, но путем проб и ошибок, для себя сделал кое-какие выводы. Самое главное при выборе параметров скрипта нужно понимать и придерживаться той логике, что в нем заложена. Например, можно получить супер результат минутного скрипта на годовом периоде, при наличии всего двух сделок - лонг и шорт. Но вероятность того, что рынок повторит данное движение сводится к нулю. Я выбираю те параметры индикаторов, которые соответствуют разумным пределам и отвечают моим ожиданиям от действия того алгоритма, что я пытался заложить в скрипт. Насколько комфортна просадка для данного скрипта, какое количество сделок я от него ожидаю и сколько притом выигрышных. Очень редко использую стопы, вместо их пытаюсь найти выход из позиции, основанный на той же логике скрипта. Т.е. выход (стоп) фактически должен означать переворот позиции, но для входа нет соответствующей уверенности. Но самая лучшая проверка работоспособности выявляю результатами скрипта на тех участках, где не проводилась оптимизация, т.е. примерно так скрипт должен себя показать в будущем на реале. Необязательно там результаты должны быть такими же, как на оптимизируемом участке, но если есть приемленный плюс, то первый шаг есть. Период теста опять же зависит от логики скрипта, какие периоды в нем используются. В основном беру последний квартал, затем с этими же параметрами сравниваю результаты на предыдущих кварталах, максимум за год, если скрипт более-менее поворотливый.

AWK, спасибо за мнение. В целом во всем согласен. Единственное, что стопы все же использую - трейлинги. Заметил, что просадку они снижают серьезно. А это главный фактор, по-моему.

Избежать большой просадки можно разными способами, кому как комфортней. Но думаю многие попадали, когда срабатывает супер оптимизированный (до сотых долей) стоп, взятый на % от входа, и после закрытия позиции рынок сразу же издевательски разворачивается в противоположное направление. Хотя хорошо видно, что предпосылок для выхода не было, идет элементарная заправка топливом для дальнейшего движения с помощью высадки из поз. Да, есть моменты, когда рынок вялотекущий, но медленно-медленно движется в ненужном для нас направлении, а скрипт основан, например, на входы/выходы по каким-нибудь импульсам. И если другие условия выхода будут только мешать работе, то без стопов не обойтись, но опять же, и это лишь мое мнение, они должны быть привязаны к какому-то логическому уровню, банально к границе канала, например.

Это уже другая тема - тут можно долго разбираться!

Хотелось бы услышать еще мнения, особенно тех, кто после оптимизации проверял среднесрочные алгоритмы на реале. Были ли какие-то заметные расхождения, какие возникли мысли после форвард теста?

Сам планирую в ближайшее время запустить среднесрочный скрипт, но чтобы реально увидеть его результаты нужно довольно много времени гонять его на реале. Поэтому и хочется заранее понять, где обычно возникают подводные камни!

оптимизация нужна только чтобы найти усреднённые прибыльные параметры

vito333, это так, но как не довести этот поиск до откровенного идеального подгона?)

бек тест или фючер тест, и чем ближе к дагонале тем лучще

uuzzeerr, в смысле чтобы доход рос ровно по медиане?

при тесте он должен быть ближе к медиане.
вот здесь ls.jpg не очень а ls+.jpg хорошо но можно лучше. в виду того что есть большие интервалы застоя и психологически не выдержишь, это игра в угадайку - конец того года бурный начало этого ничетак, но дальше ни кто не знает какая динамика будет и будет ли застой.

на периоде в год-два и количестве сделок не менее нескольких сотен это будет уже не подгон

Это было бы слишком просто. Как тогда объяснить, что оптимизировав скрипт на двухлетнем периоде с приличным количеством сделок, с результатом, скажем, 7-10% среднемесячно, через пару недель скрипт медленно, но упорно начинает сливать? Таких скриптов можно много наштамповать, но в реал их ставить нет желания. Начинаешь разбираться, всплывает, что в одном вся сказка завязана на паре-тройке удачных сделок по 20% каждая с серией мелких убыточных, в другом вся прибыль складывается на случайных утренних гэпах. Если понять, почему "вдруг" рынок идет против наших сделок и против наших чудо индикаторов, тогда и будет всем нам счастье. На мой взгляд главная цель оптимизации выявить верное направление, диапазон параметров. Остальное все должна сделать логика нашего скрипта.

так и сопоставлять надо результаты не нескольких сделок

именно так дело и обстоит - может скрипт сливать, но на длительном периоде у него хороший шанс
хотя если без мозгов подходить, то конечно, одной оптимизации маловато

Во-во, мозг - всему голова!

у меня 2 скрипта, один выглядит вот так
3.5 месяца форвард теста - полет нормальный
проскальзывание 50п часовик вход/выход по закрытию свечи.
склееный РТС с момента введения вечерки

а вообще есть еще 2 варианта, логика таже, немного по разному реализована
какой надежнее??

Мне лично нравиться вариант № 1

оптимизируемых параметров 3
значения близкие к оптимальным, тоже прибыльны
смущает маленький профит фактор

С этим невозможно не согласиться концептуально, но, как говориться в одном анекдоте - есть нюанс! Собственно хотелось бы еще раз на простейшем примере попытаться понять, где оптимизация, а где грааале-подгонка.

Берем пересечение МА, как сигнал на открытие позиции, а закрываемся по трейл стопу. Т.о. у нас возникает 2 оптимизируемых параметра для входа и 2 для выхода - казалось бы ничего криминального, это все же не 10 заумных индикаторов завязанных все вместе.

Что делаем дальше? Проводим оптимизацию по МА, т.к. иначе я не представляю себе как выделить правильный вариант из тысяч возможных. Даже для простейших средних без оптимизации не обойтись, а уж если взять такие хитры штуки, что добавил в ТСлаб ув. Вито (респект ему за работу), то тут без оптимизации уже просто ну никак!
Вот здесь уже кроется проблема: считать ли оптимизацию в данном случае адекватной или уже ставить этот результат под серьезное сомнение?

Далее берем для выбранного варианта средних трейл стопы. Опять же тут без оптимизации не обойтись. Да, можно тупо выставить значения руками и... Собственно пытаясь торговать некоторое время руками я так и делал, НО никогда не понимал, а стоп, который я ставлю он вообще адекватен ситуации? Был стоп мелкий (~300 п. на РИ) и его выбивало в 80% случаев и еще в 50% случаев цена шла туда, куда я и вставал. А поставить большой стоп, скажем в 1000 п. я как-то опасался, думая, что раз уж выбило 300, то где 300 там и 500 и т.д. Т.е. я просто не мог статистически понять, прав я или совершенно заблуждаюсь.

В этом примере опять же прогресс приходит на помощь и оптимизация позволяет на продолжительной истории выбрать оптимальный размер этого стопа. Программа как бы говорит: чувак, мы берем стоп аж в 1500 п., но зато вероятность его получить всего 30%. Хочешь мелкий стоп - вот результат, где вероятность выигрыша уже 20%. И это все решает. Я верю системе, верю в статистику, которую торгуя руками получить невозможно - она будет всегда разная в силу кучи моментов.


В общем, к чему я все это расписал. Вчера долго гонял подобные варианты на оптимизации с целью разобраться в проблеме. Действовал на простом описанном выше примере со средними. Оптимизацию проводил за год, а далее добавлял еще 2 месяца новых. Ну, что можно сказать. Результат удручает, конечно. Фактически имеем хороший эквити на оптимизируемом периоде, а далее боковик с просадками, который за 2 месяца не заработал ни копейки.
Буду и дальше эту тему продолжать тестить, чтобы принять для себя какое-то окончательное решение, но уже подхожу к мысли о том, что от среднесрочных "простых" стратегий придется отказаться, к сожалению в силу такой вот неопределенности.


Очень бы хотелось применительно к данной ситуации послушать ваши мнения!

kirillshi, невероятно слабый результат в абсолютном выражении за такой громадный период чуть ли не в 4 года. Да и с такими показателями я бы в силу изложенных выше факторов не рискнул бы даже думать о запуске такого скрипта на реале. Просадки очень серьезные и продолжительные, ПФ действительно никакой. Единственное у тебя стоит проскальзывание приличное - тоже занижает результат, но может быть для такого кол-ва сделок оно и не существенное в целом.

Результат в абсолютном выражении для меня не так существенен,
моя цель обогнать раза в 2, 3 банковский депозит на более менее существенных деньгах.
По поводу серьезных просадок, позволю себе не согласиться
Если снизить проскальзывание конечно результат улучшается, кстати скрипт выживает и при проскальзывании 200п на круг.
А ваш скрипт выдержит такую нагрузку?
с уважением

kirillshi, немного отходим от темы...

По поводу проскальзывания скажу так. Смысла не вижу в таком огромном значении. То, что выживает это логично при небольшом кол-ве сделок. Фактически на среднесрочных скриптах проскальзывание большой роли не играет, как я заметил из-за высокого среднего П\У. А вот на скорострельных алгоритмах...
Вообще, не понимаю, с какой целью вы такое значение задаете. Разве что хотите гонять по 1000 контр.?

Обогнать депозит - цель хорошая. Вот только мне кажется, при всех возможных рисках тут выигрыш должен быть далеко не в 2-3 раза...

Относительно результат в абсолюте я также имел в виду след. мысль. Грубо говоря, результат в 100к пунктов за 1 год на истории - это классно. Думаю, не надо объяснять сколько с 9-м плечом 100к пунктов в % к депозиту. Другое дело, что чем эта цифра ниже, тем сделок меньше, тем выше вероятность просто совпадения на истории и тем ниже шанс увидеть хотя бы близкий к этим цифрам результат на реале. Возможно ошибаюсь, но мне вот так это видится. Т.о 100к пунктов дохода на каком-нибудь среднесрочном срипте с 100 сделок за год для меня кажутся мене надежными, чем, допустим, тот же рез. только с 1000 сделок - это статистика.

http://forum.mql4.com/ru/26501

тут на эту тему, прикладное

короче и яснее сформулировать вряд ли получится
понимание переоптимизации придёт с опытом

те же средние, например, считаются одним из самых подгоночных инструментов, то есть лучше вообще никак средние не оптимизировать, а выставлять значения их руководствуясь какой-либо логикой
или те же трейл-стопы - правильнее выставлять размеры не из тестера, а проанализировав ATR, StDev или ещё что-то

скрипт не среднесрочный(ср.удержание позы 9часов)
500 сделок думаю достаточная выборка
проскальзывание иногда бывает 500п и более (например новости)
скрипт построен на фундаментальном свойстве рынка - цикличности волы.
Скорострельные скрипты писать не получается
Плечи ЗЛО!

сам ты зло
плечи - возможность!

Вито, интересная ссылка, спасибо! Относительно твоего мнения про средние и стопы. Я вообще тогда не понимаю, для чего нужна оптимизация и эта чертова уйма различных индикаторов, если фактически вся работа с ними приводит к такому граалю на бэк тесте? Опять же про средние. Какой логикой нужно руководствоваться при выборе параметром? Скажем, что лучше выбрать: 20 и 50 периодные или же может быть 40 и 100 и т.д. и т.п.? Не получая результата я не могу это оценить и тут никакая логика не поможет. Здесь речь идет о статистике и математике.
Помню еще в институте решали руками задачи по экономической оптимизации, потом тоже самое делали в Экселе. Соответственно я оптимизацию понимаю именно как помощь в решении уравнений с несколькими переменным, когда перебирая кучу вариантов находится наиболее приемлемый! А у нас выходит все наоборот что ли? Раз получил на оптимизации хороший вариант - это 99% грааль, который на след. же неделе сольется на реале.


kirillshi, для меня все, что меньше нескольких десятков сделок в день - уже среднесрочный. Переносит позы - тоже самое. Понятное дело, что с точки зрения инвестирования это смешно звучит - там краткосрочными может считать по 1 сделке в неделю. Просто торгуя фьюч да еще и на нашем рынке, где один день падает на 5%, а второй на эти же 5% растет, я просто себе не представляю позиции по несколько дней.
А про плечи тоже не соглашусь. Простой пример: зачем мне иметь депо в 1+ млн. руб., чтобы без плеча трейдить 10 контрактов, если я могу с депо в 150к трейдить теми же 10 контр.? Ответ очевиден. От бесплатного кредита (фин. рычаг, плечо) еще никто не отказывался. :))

Насчет плечей к Ральфу Винсу

и вот ещё - это про скользящие средние - прочитай комменты, думаю почувствуешь настрой людей относительно МАшек, а дядьки там реально опытные, я давно читаю многих

http://codebase.mql4.com/ru/8167#comments

от скользящих никто не отказывается, просто это дополнительный интсрумент и нужно чётко понимать, чего ты от них хочешь, тогда будет ясно, какая средняя нужна, какие примерно параметры закладывать
а уже чтобы подобрать вилку параметров можно и пооптимизировать

Тоже в тему об оптимизации. Не первый раз уже встречаю такой прикол, когда при нескольких прогонах расходятся результаты. Конкретный пример:
Задал укрупнено параметры и запустил - выбрал вариант.
Далее изменил ограничения параметров, там где лучший вариант был равен одной из границ. Расширяю границы оптимизации по данному параметру и запускаю снова - в итоге совсем др. цифры. См. скрин

Вот как такое вообще можно объяснить?

Позволю себе прокомментировать на простом примере. Допустим мы в своей системе используем индикатор ROC, показывающий разность между текущей ценой и ценой N периодов назад. Если логика нашей системы основана на мгновенном реагировании отклонения текущей цены, то и период нужно подбирать из коротких, а также уровень пересечения данного индикатора не должен быть далеким, иначе вероятность, что сигнал сработает при малейшей движухе будет низкая, если конечно, мы не ожидаем от системы обратного. Также и с MA, и с любым другим индикатором. А уж с помощью оптимизации затем и следует выбирать по сумме результатов какой из логичных параметров нам больше подходит. Ну уж не как не метаться между периодом 3 и 300. Один из них явно будет не к месту.
По поводу результатов вашей оптимизации сложно судить по картинке, но ведь выбираете разные параметры, отсюда и разные результаты, возможно где-то не попадает диапазон Мин. и Макс. или другой шаг используете в первом и втором случае. А то, что вы оптимизируете одновременно сразу столько параметров, один из которых еще и Сжатие, на мой взгляд, тут кроме подгонки ничего хорошего не будет. Правда опять же не зная принципа работы системы, но я бы в любом случае так делать не стал бы. Я бы вначале определился с периодом Сжатия, а затем подбирал из разумных пределов, в крайнем случае, пару МА (если они парные).

AWK, что касается моей картинки - в том то и прикол, что везде параметры одинаковые, шаги тоже. Я провел оптимизацию и получил наилучший рез. указанный на скрине и параметры под него. Далее изменил рамки для сжатия, при этом тот оптимальный вариант в эти рамки, как можно увидеть, попадает. А тем не менее результат уже видим другой. Я и сам подумал, что может где ошибся - перепроверил и реально получается именно так. Т.е. меняется тупо граница одного парметра и видим весьма другой результат! Как говориться, I'm confused...


Относительно логики подбора. Я спорить не буду, ты все верно говоришь. Но! Смотри, берем теже самые средние для примера. Да, я задаю логичный вариант: быстрая средняя имеет границы периода меньшие, чем медленная. Да даже если и одинаковые их оставить, то программа все равно сама по логике подберет параметры - т.е. та, что быстрая она и будет с периодом меньшим и медленная также соотв.! Просто по другому мы получил сделки противоположные и следовательно будут сплошные убытки. Тут нет подгона какого-то явного.
А что касается сжатия, да я через оптимизацию по сути подгоняю период. Логика тут у меня такая: я понятия не имею на каком ТФ лучше работает тот или иной индикатор и соотв. с помощью программы могу это просто тупо увидеть. Самому здесь ни с какой логикой не разобраться. В большинстве статей про ТА и индикаторы по сути так и написано: параметры ПОДБИРАЮТСЯ под определенный рабочий ваш ТФ. Допустим взять тот же RSI и его зоны перекулпенности или перепроданности. Где-то пишут, что это 30 и 70, где-то 20 и 80. Отсюда вывод - надо смотреть, КАК лучше. Ну да я могу тупо открыть историю за 3 года и глазами смотреть, но это бред и маразм! ТОже самое про средние. Начинаешь их крутить и смотреть на пересечения. Взял, скажем, 20 и 50 - смотришь сигнал идет плохой - поздно. Взял 30 и 60 и т.д. по сути до бесконечности можно руками это перебирать - но это каменный век блин!!! Для чего нам нужны все эти умные проги, мощные компы?! Чтобы решать подобные задачи с множеством переменных.

Опять же возвращаясь к тому же моему скрину. Вот там выбраны такие умные средние, у которых помимо периода есть еще и фактор сглаживания. Если я еще могу логикой, головй понять и как-то представить на что собственно их период влияет, то сглаживание это уже вряд ли. Я это понимаю так: есть какой-то математ. коэф., который вероятно в % как-то усредняет или сглаживает полученные данные. Как мне его задать логически? Ну, поставлю наобум 30%, поставлю 50% - будет разный результат. А какой лучше - на этот вопрос оптимизация и должна ответить перепробовав все варианты.


Я просто реально хочу эту тему понять именно с точки зрения логики и математики. В противном случае придется тупо отказаться от оптимизации вобще и пытаться делать какой-то близкий к HFT скрипт на каких-то "тупых" сигналах... Но, к сожалению, там тоже есть свои точнкости и сложности.

Добавлю еще вот что.

Я всегда считал под оптимизацией следующую вещь: поиск оптимального параметра из ряда возможных. Когда этот параметр одни, то его и найти можно руками. Но когда возникает задача с 2-3-5 - ну тут просто уже без соотв. программ не обойтись. И в кол-ве этих параметров ничего плохого нет. Элементарный, хрестоматийный пример: у вас есть производство, где можно производить 3 вида продукции из одних и тех же материалов; каждый продукт имеет разную цену и необходимые материалы на производство; получаешь разную прибыль с каждого; ну и есть какие-то ограничения на производстве в виде запасов. Вот вы вбиваете все это в программу, в тот же Эксель и смотрите на результат. Соответственно будь там этих продуктов что 3, что 33 от этого точность вашего прогноза не ухудшиться и не превратиться в подгонку.

Применительно к разработке торгового алгоритма, к сожалению, возникает такой парадокс, что здесь чем больше параметров - тем хуже. Вот почему? Я не могу понять. Ведь весь рынок, все движения цены - это и есть тупая статистика. Все повторяется в том или ином виде, все циклично. И вот ты берешь тупо всю эту статистику в виде истории за последние пару лет допустим и начинаешь под нее проводить оптимизацию. Почему это является подгоном? По-моему это простое усреднение. Т.о. то, что работало на протяжении года должно так или иначе повториться в будущем - вопрос вероятности.

Ну если и есть в роботоприроде система, которая приносит стабильный неплохой плюс и при этом не требует оптимизации в принципе, т.к. нечего оптимизировать, то я думаю вряд ли мы о ней узнаем. Хотя есть - "Миллиард долларов США" называется, сам себе рулевой. Так, что нам пока есть, что оптимизировать. По поводу поиска параметров. Не раз сталкивался с тем (когда запускал оптимизацию в коридоре от и до бесконечности), что примерно одинаковые результаты можно увидеть на периодах, скажем, 20 и 150! Но логика скрипта позволяет принять лишь один из них. Можно, конечно, запустить прогон с широким коридором (если плохо понимаешь какие цифры ожидаешь увидеть в параметрах), но я стараюсь всегда сначала досконально изучить индикатор, чтобы примерно знать, чего от него можно ожидать на тех или других параметрах. И согласитесь, разброс параметров между 5 - 25 периодами и 150 - 170, имеет разное значение. Если в первом случае мы заметим существенное влияние на наши результаты, то во втором - они будут не так заметны.

О разбросе от нуля до бесконечности речи и не идет. Напротив, я обычно максимально сужаю диапазон параметра, т.к. у меня дома не сервер и тупо считать столько не дождешься результата. Да и все индикаторы имеют какой-то заданный коридор, больше которого лезть реально смысла нет.

Но это, опять же, не ответ на мой вопрос!

Мое мнение такое, что чем больше параметров, тем выше вероятность подстроиться именно под оптимизируемый период. Ведь можно прописать в системе каждый бар, который был, увы, в прошлом, и получить при этом Золотую Антилопу. Все гениальное - просто, так говорят, нужно пытаться избавиться от лишнего груза, которое мешает держаться на плаву. Я не исключаю и 5-7 оптимизированных параметров в системе, но при условии, что они мало связаны между собой и разделены на логические блоки, которые выполняют отдельную роль (вход, ведение позиции, выход или еще, что-нибудь). А вообще лучший индикатор, это то, что заложено в цене, ее уровень, фактор, влияющий на ее движение, толпа, например. Осталось только сформулировать это в алгоритме, всего то делов!

к сожалению без большого кол-ва параметров обойтись оч сложно, чего стоят константы для сравнения с уровнем какого нибудь осцилятора. я иногда даже не парюсь по этому поводу закладывая константу значение ее ищу оптимизацией. но всегда вопрос - от чего искать ? а вот здесь только логика хотя можно начать и от книжных значений.

но есть индюки константы для которых задать не просто Volotility к примеру.

зы там картинка есть

Есть ещё один, самый трудный способ. Постараться сделать скрипт совсем без оптимизируемых параметров. Теоретически это возможно. практически ..... сомнительно, ну или оч. сложно.

есть такие гении достойные преклонения...