У вас не стоит Flash Player
Настройки
#13367 - Sun Sep 19 2010 01:16 PM Использование GPU при расчете оптимизации, CUDA
Ivan Offline
addict

Registered: Sun Sep 19 2010
Записи: 453
Добрый день.
Есть большое пожелание, чтобы при расчете параметров оптимизации можно было использовать мощности графического процессора видеокарты. Например, у Nvidia это технология называется CUDA.
При обработке переменных больше трех и малых шагах, мощности даже самого современного процессора явно не хватает.

Наверх
#13377 - Sun Sep 19 2010 03:17 PM Re: Использование GPU при расчете оптимизации, CUDA [Re: Ivan]
andy Offline

Pooh-Bah

Registered: Mon Feb 16 2009
Записи: 2130
Originally Posted By: Ivan
Добрый день.
Есть большое пожелание, чтобы при расчете параметров оптимизации можно было использовать мощности графического процессора видеокарты. Например, у Nvidia это технология называется CUDA.
При обработке переменных больше трех и малых шагах, мощности даже самого современного процессора явно не хватает.


Нет никаких проблем.
У Вас есть CUDA ?
Если да мы, готовы сделать под вас решение если договоримся о стоимости.

=При обработке переменных больше трех и малых шагах, мощности даже самого современного процессора явно не хватает.

Это спорное утверждение. Хотя вы правы, зависит от железки.
Примерно такой железки
http://www.tslab.ru/ubb/ubbthreads.php?ubb=showflat&Number=11572#Post11572
процессор: Intel(R) Xeon(R) CPU E5520 @ 2.27GHz ( 2 processors )
при условии разбития на группы параметров оптимизации и прохождении поочередно этих групп
хватает на 95 процентов задач

так что может и не надо эту CUDA городить ? :-)
CUDA хороша когда необходимо крутить сложный алгоритм в реалтайме
а с оптимизацией можно и подождать часок другой :-)

Наверх
#13383 - Sun Sep 19 2010 03:36 PM Re: Использование GPU при расчете оптимизации, CUDA [Re: andy]
usas Offline
Pooh-Bah

Registered: Sun Feb 21 2010
Записи: 2331
Loc: Ухта
Originally Posted By: andy
[quote=Ivan]Добрый день.

http://www.tslab.ru/ubb/ubbthreads.php?ubb=showflat&Number=11572#Post11572
процессор: Intel(R) Xeon(R) CPU E5520 @ 2.27GHz ( 2 processors )
при условии разбития на группы параметров оптимизации и прохождении поочередно этих групп
хватает на 95 процентов задач

так что может и не надо эту CUDA городить ? :-)
CUDA хороша когда необходимо крутить сложный алгоритм в реалтайме
а с оптимизацией можно и подождать часок другой :-)

По этому поводу есть еще одно парадоксальное суждение - если у вас мощная железка вы тупо забиваете максимальную кучу параметров и ждете..
А если возникает необходимость формировать параметры по группам, то сформировать правильно можно только четко представляя логику работы скрипта, а не в слепую, что имхо совсем неплохо..
Кстати по группам выходит гораздо быстрее..

Наверх
#13386 - Sun Sep 19 2010 04:23 PM Re: Использование GPU при расчете оптимизации, CUDA [Re: usas]
andy Offline

Pooh-Bah

Registered: Mon Feb 16 2009
Записи: 2130
Originally Posted By: usas
А если возникает необходимость формировать параметры по группам, то сформировать правильно можно только четко представляя логику работы скрипта, а не в слепую, что имхо совсем неплохо..
Кстати по группам выходит гораздо быстрее..


Именно !
Представляя четко физику работы вашего алгоритма, вы группами отрабатываете вход + фильтры, ведение + фильтры, выход из позиции + фильтры. На выходе получаете полухендмейд оптимизацию, но зато высокого качества и проверенную глазом человека. Что невозможно получить тупо запустив все. Ну или у меня лично такой подход в лоб не получался никогда :-)

Наверх
#13391 - Sun Sep 19 2010 08:37 PM Re: Использование GPU при расчете оптимизации, CUDA [Re: andy]
Nab0y Offline
member

Registered: Mon Jun 28 2010
Записи: 103
Наверное, будет более правильно, просить у разработчиков не прикрутить ту или иную технологию для оптимизации, а разработать API (или сделать удобоваримой существующую), а мы уже как пользователи сами будем прикручивать и CUDA и распределенную оптимизацию на множестве клиентских машинах и многопоточность на множестве ядер.

По поводу оптимизации: чисто в лоб стадом дает более высокие результаты, чем группы, все равно группы параметров взаимосвязаны с параметрами других групп. Как пример, простая оптимизация трейл стопа, логически делится на StopLoss и Включить трейл + Трейл лосс. По группам у меня уходит несколько часов на пересчет, при прогоне оптимизации всех трех параметров на 8 ядерном сервере с 6 Гб памяти на это дело уходит около 22 часов, но результаты очень сильно отличаются, как по результатам, так и по значениям параметров.
Вот сейчас у меня в скрипте 12 параметров (половина из них это трейл стопы), логически разделил на 4 группы: 2 входа, 2 выхода. Лонги и шорты можно еще больше разделить, но все равно они связаны между собой, т.к. использую реинвестицию капитала. Но обсчитать все скопом я сейчас не могу, иначе уйдет столько времени, что до начала торгов уже нужна будет новая оптимизация.


Отредактировано Nab0y (Sun Sep 19 2010 08:38 PM)

Наверх
#13392 - Sun Sep 19 2010 09:05 PM Re: Использование GPU при расчете оптимизации, CUDA [Re: Nab0y]
777 Offline
Carpal Tunnel

Registered: Thu Apr 01 2010
Записи: 2564
Loc: г. Дзержинский
Originally Posted By: Nab0y
при прогоне оптимизации всех трех параметров на 8 ядерном сервере с 6 Гб памяти на это дело уходит около 22 часов, но результаты очень сильно отличаются, как по результатам, так и по значениям параметров.
Вот сейчас у меня в скрипте 12 параметров (половина из них это трейл стопы), логически разделил на 4 группы: 2 входа, 2 выхода.

На 64 бит машина работает?
_________________________
«Существует 3 типа лжи: ложь, наглая ложь и статистика»
Дизраэли.

Наверх
#13393 - Sun Sep 19 2010 09:17 PM Re: Использование GPU при расчете оптимизации, CUDA [Re: 777]
Nab0y Offline
member

Registered: Mon Jun 28 2010
Записи: 103
Originally Posted By: 777
На 64 бит машина работает?


Да Win Server 2008R2 x64, TsLab тоже 64 битная версия


Отредактировано Nab0y (Sun Sep 19 2010 09:18 PM)

Наверх
#13402 - Mon Sep 20 2010 09:11 AM Re: Использование GPU при расчете оптимизации, CUDA [Re: Nab0y]
usas Offline
Pooh-Bah

Registered: Sun Feb 21 2010
Записи: 2331
Loc: Ухта
Originally Posted By: Nab0y
Вот сейчас у меня в скрипте 12 параметров (половина из них это трейл стопы), логически разделил на 4 группы: 2 входа, 2 выхода. Лонги и шорты можно еще больше разделить, но все равно они связаны между собой, т.к. использую реинвестицию капитала. Но обсчитать все скопом я сейчас не могу, иначе уйдет столько времени, что до начала торгов уже нужна будет новая оптимизация.


Вы проводите переоптимизацию перед каждыми торгами? А смысл..

Наверх
#13403 - Mon Sep 20 2010 09:24 AM Re: Использование GPU при расчете оптимизации, CUDA [Re: usas]
Nab0y Offline
member

Registered: Mon Jun 28 2010
Записи: 103
Нет, я провожу сейчас вообще первичную оптимизацию, а если все 12 параметров скопом поставить на оптимизацию, то на это уйдет месяцев 4-6, а когда оптимизация закончится, то она уже будет не актуальная. Если у меня используются часовики и тестирование проводилось на периоде год-полтора, то торговать можно в течение месяца-двух, потом нужна переоптимизация.

Наверх
#13404 - Mon Sep 20 2010 09:31 AM Re: Использование GPU при расчете оптимизации, CUDA [Re: Nab0y]
usas Offline
Pooh-Bah

Registered: Sun Feb 21 2010
Записи: 2331
Loc: Ухта
У меня такие цифры и сроки просто в голове не укладываются..
ИМХО где-то у Вас методологические ошибки..
Впрочем в каждой голове свои тараканы..:-))
Удачи..

Наверх
#13413 - Mon Sep 20 2010 10:00 AM Re: Использование GPU при расчете оптимизации, CUDA [Re: Nab0y]
andy Offline

Pooh-Bah

Registered: Mon Feb 16 2009
Записи: 2130
Originally Posted By: Nab0y
Наверное, будет более правильно, просить у разработчиков не прикрутить ту или иную технологию для оптимизации, а разработать API (или сделать удобоваримой существующую), а мы уже как пользователи сами будем прикручивать и CUDA и распределенную оптимизацию на множестве клиентских машинах и многопоточность на множестве ядер.


Мы думаем о вводе плагинов.
Клиенты сами смогут писать необходимый им функционал.
Быстро это не появится, но это одно из основных направлений развития TSLab.

Наверх
#85100 - Thu May 09 2019 01:41 PM Re: Использование GPU при расчете оптимизации, CUDA [Re: andy]
tikOn Offline
stranger

Registered: Sat May 26 2018
Записи: 4
Дгобрый день, было заявлено что это одно из основных направлений развития ,но по факту сейчас TSlab не поддерживает CUDA, как-то было реализовано решение о нагрузке более оптимизированно многоядерных серверных процессоров,но насколько эффективно я не заметил на своих 24 ядрах и 2-х процессорах,а вот CUDA всё равно эффективнее. Может вернемся к этому вопросу и поставим на очередь?

Originally Posted By: andy
Originally Posted By: Nab0y
Наверное, будет более правильно, просить у разработчиков не прикрутить ту или иную технологию для оптимизации, а разработать API (или сделать удобоваримой существующую), а мы уже как пользователи сами будем прикручивать и CUDA и распределенную оптимизацию на множестве клиентских машинах и многопоточность на множестве ядер.


Мы думаем о вводе плагинов.
Клиенты сами смогут писать необходимый им функционал.
Быстро это не появится, но это одно из основных направлений развития TSLab.

Наверх
#85103 - Fri May 10 2019 10:42 PM Re: Использование GPU при расчете оптимизации, CUDA [Re: tikOn]
ViL Offline
TSLab
Carpal Tunnel

Registered: Sun Oct 17 2010
Записи: 8139
Если речь об АПИ, оно давно есть, пример здесь:
https://blog.tslab.pro/pages/viewpage.action?pageId=10748704

Наверх
#85104 - Fri May 10 2019 10:43 PM Re: Использование GPU при расчете оптимизации, CUDA [Re: tikOn]
ViL Offline
TSLab
Carpal Tunnel

Registered: Sun Oct 17 2010
Записи: 8139
Originally Posted By: tikOn
я не заметил на своих 24 ядрах и 2-х процессорах


Включите так
https://blog.tslab.pro/pages/viewpage.action?pageId=10748601

Наверх


Moderator:  ViL, sar