Использование GPU при расчете оптимизации, CUDA

Автор: Ivan

Использование GPU при расчете оптимизации, CUDA - Sun Sep 19 2010 01:16 PM

Добрый день.
Есть большое пожелание, чтобы при расчете параметров оптимизации можно было использовать мощности графического процессора видеокарты. Например, у Nvidia это технология называется CUDA.
При обработке переменных больше трех и малых шагах, мощности даже самого современного процессора явно не хватает.
Автор: andy

Re: Использование GPU при расчете оптимизации, CUDA - Sun Sep 19 2010 03:17 PM

Originally Posted By: Ivan
Добрый день.
Есть большое пожелание, чтобы при расчете параметров оптимизации можно было использовать мощности графического процессора видеокарты. Например, у Nvidia это технология называется CUDA.
При обработке переменных больше трех и малых шагах, мощности даже самого современного процессора явно не хватает.


Нет никаких проблем.
У Вас есть CUDA ?
Если да мы, готовы сделать под вас решение если договоримся о стоимости.

=При обработке переменных больше трех и малых шагах, мощности даже самого современного процессора явно не хватает.

Это спорное утверждение. Хотя вы правы, зависит от железки.
Примерно такой железки
http://www.tslab.ru/ubb/ubbthreads.php?ubb=showflat&Number=11572#Post11572
процессор: Intel(R) Xeon(R) CPU E5520 @ 2.27GHz ( 2 processors )
при условии разбития на группы параметров оптимизации и прохождении поочередно этих групп
хватает на 95 процентов задач

так что может и не надо эту CUDA городить ? :-)
CUDA хороша когда необходимо крутить сложный алгоритм в реалтайме
а с оптимизацией можно и подождать часок другой :-)
Автор: usas

Re: Использование GPU при расчете оптимизации, CUDA - Sun Sep 19 2010 03:36 PM

Originally Posted By: andy
[quote=Ivan]Добрый день.

http://www.tslab.ru/ubb/ubbthreads.php?ubb=showflat&Number=11572#Post11572
процессор: Intel(R) Xeon(R) CPU E5520 @ 2.27GHz ( 2 processors )
при условии разбития на группы параметров оптимизации и прохождении поочередно этих групп
хватает на 95 процентов задач

так что может и не надо эту CUDA городить ? :-)
CUDA хороша когда необходимо крутить сложный алгоритм в реалтайме
а с оптимизацией можно и подождать часок другой :-)

По этому поводу есть еще одно парадоксальное суждение - если у вас мощная железка вы тупо забиваете максимальную кучу параметров и ждете..
А если возникает необходимость формировать параметры по группам, то сформировать правильно можно только четко представляя логику работы скрипта, а не в слепую, что имхо совсем неплохо..
Кстати по группам выходит гораздо быстрее..
Автор: andy

Re: Использование GPU при расчете оптимизации, CUDA - Sun Sep 19 2010 04:23 PM

Originally Posted By: usas
А если возникает необходимость формировать параметры по группам, то сформировать правильно можно только четко представляя логику работы скрипта, а не в слепую, что имхо совсем неплохо..
Кстати по группам выходит гораздо быстрее..


Именно !
Представляя четко физику работы вашего алгоритма, вы группами отрабатываете вход + фильтры, ведение + фильтры, выход из позиции + фильтры. На выходе получаете полухендмейд оптимизацию, но зато высокого качества и проверенную глазом человека. Что невозможно получить тупо запустив все. Ну или у меня лично такой подход в лоб не получался никогда :-)
Автор: Nab0y

Re: Использование GPU при расчете оптимизации, CUDA - Sun Sep 19 2010 08:37 PM

Наверное, будет более правильно, просить у разработчиков не прикрутить ту или иную технологию для оптимизации, а разработать API (или сделать удобоваримой существующую), а мы уже как пользователи сами будем прикручивать и CUDA и распределенную оптимизацию на множестве клиентских машинах и многопоточность на множестве ядер.

По поводу оптимизации: чисто в лоб стадом дает более высокие результаты, чем группы, все равно группы параметров взаимосвязаны с параметрами других групп. Как пример, простая оптимизация трейл стопа, логически делится на StopLoss и Включить трейл + Трейл лосс. По группам у меня уходит несколько часов на пересчет, при прогоне оптимизации всех трех параметров на 8 ядерном сервере с 6 Гб памяти на это дело уходит около 22 часов, но результаты очень сильно отличаются, как по результатам, так и по значениям параметров.
Вот сейчас у меня в скрипте 12 параметров (половина из них это трейл стопы), логически разделил на 4 группы: 2 входа, 2 выхода. Лонги и шорты можно еще больше разделить, но все равно они связаны между собой, т.к. использую реинвестицию капитала. Но обсчитать все скопом я сейчас не могу, иначе уйдет столько времени, что до начала торгов уже нужна будет новая оптимизация.
Автор: 777

Re: Использование GPU при расчете оптимизации, CUDA - Sun Sep 19 2010 09:05 PM

Originally Posted By: Nab0y
при прогоне оптимизации всех трех параметров на 8 ядерном сервере с 6 Гб памяти на это дело уходит около 22 часов, но результаты очень сильно отличаются, как по результатам, так и по значениям параметров.
Вот сейчас у меня в скрипте 12 параметров (половина из них это трейл стопы), логически разделил на 4 группы: 2 входа, 2 выхода.

На 64 бит машина работает?
Автор: Nab0y

Re: Использование GPU при расчете оптимизации, CUDA - Sun Sep 19 2010 09:17 PM

Originally Posted By: 777
На 64 бит машина работает?


Да Win Server 2008R2 x64, TsLab тоже 64 битная версия
Автор: usas

Re: Использование GPU при расчете оптимизации, CUDA - Mon Sep 20 2010 09:11 AM

Originally Posted By: Nab0y
Вот сейчас у меня в скрипте 12 параметров (половина из них это трейл стопы), логически разделил на 4 группы: 2 входа, 2 выхода. Лонги и шорты можно еще больше разделить, но все равно они связаны между собой, т.к. использую реинвестицию капитала. Но обсчитать все скопом я сейчас не могу, иначе уйдет столько времени, что до начала торгов уже нужна будет новая оптимизация.


Вы проводите переоптимизацию перед каждыми торгами? А смысл..
Автор: Nab0y

Re: Использование GPU при расчете оптимизации, CUDA - Mon Sep 20 2010 09:24 AM

Нет, я провожу сейчас вообще первичную оптимизацию, а если все 12 параметров скопом поставить на оптимизацию, то на это уйдет месяцев 4-6, а когда оптимизация закончится, то она уже будет не актуальная. Если у меня используются часовики и тестирование проводилось на периоде год-полтора, то торговать можно в течение месяца-двух, потом нужна переоптимизация.
Автор: usas

Re: Использование GPU при расчете оптимизации, CUDA - Mon Sep 20 2010 09:31 AM

У меня такие цифры и сроки просто в голове не укладываются..
ИМХО где-то у Вас методологические ошибки..
Впрочем в каждой голове свои тараканы..:-))
Удачи..
Автор: andy

Re: Использование GPU при расчете оптимизации, CUDA - Mon Sep 20 2010 10:00 AM

Originally Posted By: Nab0y
Наверное, будет более правильно, просить у разработчиков не прикрутить ту или иную технологию для оптимизации, а разработать API (или сделать удобоваримой существующую), а мы уже как пользователи сами будем прикручивать и CUDA и распределенную оптимизацию на множестве клиентских машинах и многопоточность на множестве ядер.


Мы думаем о вводе плагинов.
Клиенты сами смогут писать необходимый им функционал.
Быстро это не появится, но это одно из основных направлений развития TSLab.
Автор: tikOn

Re: Использование GPU при расчете оптимизации, CUDA - Thu May 09 2019 01:41 PM

Дгобрый день, было заявлено что это одно из основных направлений развития ,но по факту сейчас TSlab не поддерживает CUDA, как-то было реализовано решение о нагрузке более оптимизированно многоядерных серверных процессоров,но насколько эффективно я не заметил на своих 24 ядрах и 2-х процессорах,а вот CUDA всё равно эффективнее. Может вернемся к этому вопросу и поставим на очередь?

Originally Posted By: andy
Originally Posted By: Nab0y
Наверное, будет более правильно, просить у разработчиков не прикрутить ту или иную технологию для оптимизации, а разработать API (или сделать удобоваримой существующую), а мы уже как пользователи сами будем прикручивать и CUDA и распределенную оптимизацию на множестве клиентских машинах и многопоточность на множестве ядер.


Мы думаем о вводе плагинов.
Клиенты сами смогут писать необходимый им функционал.
Быстро это не появится, но это одно из основных направлений развития TSLab.
Автор: ViL

Re: Использование GPU при расчете оптимизации, CUDA - Fri May 10 2019 10:42 PM

Если речь об АПИ, оно давно есть, пример здесь:
https://blog.tslab.pro/pages/viewpage.action?pageId=10748704
Автор: ViL

Re: Использование GPU при расчете оптимизации, CUDA - Fri May 10 2019 10:43 PM

Originally Posted By: tikOn
я не заметил на своих 24 ядрах и 2-х процессорах


Включите так
https://blog.tslab.pro/pages/viewpage.action?pageId=10748601