Могу поделиться своим подходом в тестировании. На истину не претендую, но тем не менее делаю так.
Собираю скрипт на текущем контракте, сколько есть данных, столько и беру( пример, на RIZ4 данные накоплены с 8 сентября). Замечу, тестирую только!!! на данных накопленных с сервера, потому что так могу взять именно то, что требуется для работы в скрипте. На текстовых почти ничего нет.
Дальше. Собрал, запустил, глянул что да как работает, какая статистика по результатам. Если скрипт предполагает поск оптимальных параметров, оптимизирую. Получив наилучшие результаты для текущего куска истории, увеличиваю данные на склейку ранее накопленной истории. Если алгоритм живой и содержит признаки стабильности, то результаты теста на склейке будут приемлемые (т.е. нет слива депо, пусть и не 10000% в месяц). Если есть откровенный слив, то лучше забыть про такую систему. Ну а дальше ,.... тестим на всей доступной истории, оптимизируем, если есть что, "подкручиваем" входы-выходы, т.е. ищем то состояние самого алгоритма, при котором на тестировании наблюдаем самые приемлемые, с вашей точки зрения конечно, статистические результаты, характер кривой эквити и т.д., т.е. то,что вами признаётся за главные и важные параметры системы. Ну , вот так , если коротко.
Иными словами, суть тестирования- проверить, как результаты сегодняшние, воспроизводятся на прошлом, а не наоборот.


Отредактировано Rezident (Tue Sep 30 2014 10:01 PM)