Конвертер *.bin файлов тикового кэша TSLab

Просили неоднократно, вот в конце концов наваял кое что юзерфрендли.

Рецепт:
Для работы программы с кэшэм используются родные средства TSLab поэтому запуск производим ТОЛЬКО из папки с самим TSLab-ом. Кидаем программу туда, и заводим оттуда! Программа должна работать с любой версией TSLab
В верхней части программы мы конвертируем *.bin файлы в *.trd файл. В нижней части, мы указываем текстовик и конвертируем его в набор *.bin файлов. То есть можно конвертить в обе стороны.

Конвертация в текстовую форму, то есть *.trd файл.
1) Выбираем папку в которой валяются ваши бинарники. Это может быть любая папка где эти файлы находятся. Используем кнопку BROWSE для этого. Или вводим путь ручками.
2) Жмакаем кнопку LOAD TICKERS и в выпадающейм списке видим все тикеры которые есть в бинарниках. Рядом с тикером написан формат бинарного файла. От версии к версии TSLab формат изменяет. Знание формата нужно для правильного сохранения в бинарный формат из текстового. Для задачи конверта из бинарника в текстовик формат не играет роли.
3) Выбираем нужный тикер и жмакаем на кнопку SAVE TO FILE. Начнется процесс записи в файл. По окончании процесса в той же папке где лежали ваши бинарники будет лежать *.trd файл с текстовым представлением тиковых сделок. Имя файла равно имени тикера. Если такой файл уже есть, он будет просто перезаписан.

Конвертация в бинарную форму, то есть *.bin файл.
1) Создаем текстовый файл предопределенного формата. Формат файла легко увидеть конвертнув бинарник в текстовик. Там все достаточно просто. Заголовок файла обязателен!
2) В нижней половине окна программы через кнопку BROWSE выбирам созданный текстовик. Или руками пишем путь к нему.
3) В окне ПРЕФИКС пишем префикс бинарного файла (например RIH3_4). Это необходимо для правильного именования бинарника на выходе. Имя бинарных файлов обычно состоит из префикса и даты. В окне ВЕРСИЯ выбираем версию формата бинарника. Вообще это момент важный. Вы должны знать какой формат сейчас использует текущая версия TSLab. Это легко узнать загрузив тикеры из папки тикового кэша, и посмотрев используемые форматы для кэша. Обычно самая большая цифра и есть текущий формат бинарника. Сейчас это 5 версия. Если формат выставить неверно, запись произойдет криво и работать такой кэш не будет.
4) Жмем кнопку SAVE TO FILE и ждем окончания процесса. В папке где лежал исходный текстовик появятся бинарники. Если в папке уже есть бинарник с таким же именем, процес будет прерван. Сделано дабы случайно не напортачить.

Собственно фсио. Пользуйтесь, пишите отзывы, баги, предложения, критикуйте.

пока не опробовал, но СПАСИБО уже говорю ))

*.trd файл сформирован, а как его использовать и чем открыть?
программа этот файл не видит...

Вроде написал . Это просто текстовый файл. Берет эксель и открываете. И делаете с ним хотите.

Небольшая допилка. На других брокерах слегка иначе тикеры именуются, разобрал как организуется имя файла, сделал разбор имени в соответствии с этим. Любой брокер должен канать.

По окончанию конвертации bin->txt индикатор конвертации остается на 100%, т.е не совсем понятно завершилась конвертация или еще нет.
При каждом запуске остаются ваши прописанные пути c:\Users\ra81\AppData\Local\TSLab\TSLab12\Finam FortsCacheTrades\

Если быстро поправить нет возможности, то итак отлично) спасибо за труд)

Ну полоску я итак спецом оставил. Пока она не завершится кнопка не разблокируется . Но уже второй человек говорит что с полоской все плохо. Исправлю. Пути изменять не буду ибо это надо прикручивать конфиг файл итд что нафиг не нужно в данной утилите. Берете исходники вписываете нужный путь собираете и в путь.

пытался использовать Вашу разработку для конвертации данных выложеных в теме по btc-e и он постоянно закрывается по ощибке при нажатии load tikers. у меня win7 x64 в чем может быть проблема?

Ну для начала хотябы ошибку в студию . Потому как я проверил данные норм загружаются. Так что трабл где то у вас на компе. Надо искать.

программа гденибудь логи пишет? у меня на все котировки так.

А что у вас в строке сверху в окне программы? Какой путь указан

C:\Users\zzz\AppData\Local\TSLab\TSLab12\btc-eCacheTrades. там лежат бинарники

сама прога конвертер у вас где размещена? Инструкцию соблюдаете?

упс...
извените.

Ага. Инструкцию читают только ламеры это я понимаю . Но тут деваться некуда .

Искал такую программу, но похоже по другим причинам, чем остальные. В результате всех манипуляций получил текстовый файл с тиковыми данными. Причем формат даты и времени не совпадает с тем, что в текстовиках для ТСЛаб используется. И в Экселе штатными средствами не преобразовать. Ну это ладно. Это не в упрек. Полдня повожусь и сделаю. Но у меня другая засада. Начал наконец работать в Церих через Interactive Brokers. Месяц возился с оформлением и пересылкой денег пока получил доступ к графикам и сразу понял, что как везде на Форексе у них СВОЯ конфигурация свечей. В моем случае 1М. То есть данные с Финама близко не годятся для оптимизации и надо брать их данные. Но они свою историю не дают. В рабочие дни вообще только 1,5 дня на 1М подгружается. В первые выходные загрузило за 2 месяца историю. Уже что-то. Дальше думал подкопить, но в первый же понедельник история ушла как ее и не было. Ну это моя лирика. Я так обрадовался вашей программе, но как оказалось она работает только с папками типа Interactive BrokersCacheTrades и не работает с папками типа Interactive BrokersCache, в которой хранятся в моем случае 1М история. Программа выдает ошибку подобную той, что описана выше. Инструкция соблюдена. Программа в папке, где все установлен ТСЛаб.

прозьба: создай отдельный топик и опиши,плз, чем же отличаются свечи у Interactive Brokers и какие еще есть там ньюансы, эта тема многих очень интересует. буду признателен.

Просьбу выполнил http://forum.tslab.ru/ubb/ubbthreads.php?ubb=showflat&Number=60463&#Post60463

увидел. Подправлю экспорт данных. Сделаю по типу финамовского чтобы выгружался.


проблема в том что программка пашет только с тиками, а тут вы пробуете конвертать свечки. Раз такое дело нужное оказалось, можно и доработать, вот только не понимаю для чего свечки хотите в текст превращать? Чтобы не терялась инфа по ним? Для этого?

ПС: не обещаю доработку быстро. Неделю скорее всего придется обождать.

Да. Именно для этого. Чтобы не терялось. Вчера эксперимент проводил. Брал чужой BIN на 1 мин. Вроде загрузилось по началу нормально, а потом дыры пошли. Провалы как внутри дня в истории, так и целые недели выпадали. Будут разбираться конечно, но вот как получилось с IB. Возможно и у других брокеров что-то подобное может получиться. Премного благодарен. И со сроками ну никак давить не могу конечно. Как сможете, так и спасибо.

Добрый день, уважаемые коллеги!
На базе программы Родиона Скуратовского GuiBinConverter написал программу, которая конвертирует свечи bin->txt и txt->bin.
Часто использую конвертацию txt->bin для увеличения количества баров в двоичном файле.
Прикладываю исходные тексты программы конвертации файлов свечных данных из двоичного формата в текстовый и обратно.
Успехов!

здорово. если вы не против то перепакую все в одну программу. давно хотел это сделать но все руки не доходили

Не возражаю

Запилил нью вершн 2.0.0. Добавил сразу некоторые удобства. В остальном все так же в плане работы.

1) Добавлена работа со свечами.
2) Формат текстовых файлов на выходе схож с финамовским, кроме дополнительных колонок. Можно достаточно просто адаптировать финамовские данные для программы и конвертить в бинарники.
3) Интерфейс стал умнее. Делать бяку не дает по возможности. Определяет доступные поставщики данных сам и так далее.

тестируем в общем. Жалуемся. Критикуем.

ПС: ненавижу xaml. Да и простая прога каким то образом разрослась и стала уже непростой . Печаль.

Столкнулся с такой проблемой.
Имею текстовый файл вида:

<DATE>,<TIME>,<MSEC>,<TRADENO>,<LAST>,<VOL>,<DIRECTION>,<ASK>,<BID>,<INTEREST>
20140619,100000,000,190,132830,10,Sell,0,0,0
20140619,100000,000,191,133010,10,Buy,0,0,0
20140619,100000,000,192,133040,1,Buy,0,0,0
20140619,100000,000,193,133050,34,Buy,0,0,0
20140619,100000,000,194,132830,3,Sell,0,0,0
20140619,100000,000,195,132830,2,Sell,0,0,0
20140619,100000,000,196,132830,8,Buy,0,0,0
20140619,100000,000,197,133040,4,Sell,0,0,0
20140619,100000,000,198,133050,14,Buy,0,0,0

1) конвектирую в bin, версию файла ставлю 6.
2) Бины закидываю в кеш
3) Тут же программой делаю bin ----> txt
Получаю:
<DATE>,<TIME>,<MSEC>,<TRADENO>,<LAST>,<VOL>,<DIRECTION>,<ASK>,<BID>,<INTEREST>
20140619,100000,000,190,132830,10,Sell,132830,132830,0
20140619,100000,000,190,132830,10,Sell,132830,132830,0
20140619,100000,000,190,132830,10,Sell,132830,132830,0
20140619,100000,000,190,132830,10,Sell,132830,132830,0
20140619,100000,000,190,132830,10,Sell,132830,132830,0
20140619,100000,000,190,132830,10,Sell,132830,132830,0
20140619,100000,000,190,132830,10,Sell,132830,132830,0
20140619,100000,000,190,132830,10,Sell,132830,132830,0
20140619,100000,000,190,132830,10,Sell,132830,132830,0


Как видим, весь файл забит первой сделкой. Кстати кол-во сделок совпадает. Тест гонял на разных датах за разные дни.

Еще такой момент, когда выбираю период выгрузки в trd, первая дата выгружается не включительно.

Дополню.
-в тотал командоре глянул бины. на первый взгляд действительно там лежат одни и теже данные
-попробовал поставить версию 5. бины формируются, но обратно в trd данные не выгружаются.

ну так прикладывайте ваши бины. Из воздуха каши не сваришь. Буду делать и смотреть .

1) ваш текстовик из которого формируете бины и они плохие получаются
2) ваши бины которые НЕ включительно выгружаются по дате.

Отлично.
1) Исходник https://yadi.sk/d/1moh6m1UWtyMx
2) Бины https://yadi.sk/d/sAaZciEEWtyGb
3) Выгрузка из бинов https://yadi.sk/d/UNIqHSBgWtyFS
4) Скрин настроек программы http://content.screencast.com/users/Andr...-07-19_1537.png

Календарь в программе все видит правильно. Все даты существующие есть, не существующие перечеркнуты. Перед 18 числом, данных больше нет. Если это поможет в разборе полетов.

Если обратите внимание, номера сделок взяты с потолка, думал может ноль не проходит.

сразу вопрос. Если вы конвертируете в текстовик те бинарники что уже нагенерены были самим тслабом, тогда текстовик нормальный??? У меня в этом случае все пучком. Из сообщений выше неясно. Глюк только когда текстовик генерится из бинов которые собраны из текстовиков?

1) Текстовик из оригинальных тслабовских бинарников все правильно генерируется.
2) Глюк только когда подсовываю в кеш сгенерированные бинарники через программу

Была одна корявка в коде. Поправил. Забитость файла одной сделкой должна пропасть. Остальные проблемы выглядят несуществующими. В общем просьба еще раз проверить

Спасибо, все заработало

видимо из 30 скачавших пользуется 1 . А то бы багу заметили наверняка ранее.

Я пользовался вроде чуть раньше, не обращал внимания. Но не нагружал так сильно. Сейчас уже переконвектировал 21 день. Все нормально
ps. Сейчас выложу свой конвектр из данных qscalp

а у кускальпа история стакана пишется? Прям полный стакан? Как часто? Раз в секунду или чаще?

что пишется, это точно. как часто не знаю, наверное прям как в реале. Воспроизводит историю 1 в 1.
Там у кускальпа по истории идут 2 файла. В одном сделки, в другом спреды и стакан.
По поводу записи. Он там тоже ужал как мог, записывает только изменения

но чет шибко мало выходит. 2 метра на день ртс. надо приладить конвертер к своей приблуде по стакану будет . халявная история стаканов не везде валяется

Добрый день!
Пробую перевести bin в txt в win7. После выбора пути к папке с бин файлами и нажатия загрузить тикеры появляется сообщение "Прекращена работа программы". Файл лежит не в директории тслаб. Может что-то не так делаю?

ага. инструкций видимо не смотрели? http://www.youtube.com/watch?v=RlcRW9aedZg
Если все по ней и не работает, тогда пишите.

Программа вышла просто замечательной! Все прекрасно работает. Спасибо вам за то, что вы делаете!

То ли еще будет. Надо конвертацию из кускальпа делать, да лень.

Да, если будет еще возможность в подобном формате работать с историей стакана, будет просто сказка

Уважаемый Ra81, можно ли допилить прогу под текущие данные, которые выдает конвертер qsh2txt.exe?

йэх. я предлагал уже было дело сделать конверталку напрямую с их формата в тслаба. Но мне персонально это не нужно. Тем более что данные прикрыли халявные. А делать не раз два и готово. Так что если найдутся желающие скинуться типо краудфандинга, то можем сделать.

Теперь точнее, есть вариант делать это используя ордерлоги кускальпа которые есть где взять. А другие варианты теперь в общем недоступны в общем доступе. Айти инвест покидал своих клиентов.

церих дает качать бесплатно ftp://athistory.zerich.com/2015-09-01/

это ордерлог при этом нет стоков здесь и собственно нет стакана каким он приходит клиенту. не самый лучший вариант. айти давал хорошую базу.

Опасность! Аларм! Кто использует программу - будьте начеку.

Замечено что, как минимум, в старых тиковых *.bin файлах имеет место быть дублирование тиков. Иногда дублируется прям весь день два раза. Это проблема если вы тики анализируете потом как то. В новых версиях обещают сделать сортировку и зачистку дублей при сохранении кэша, но верить никому нельзя .

Попробую вставить в программу фильтрацию чтобы она убирала дубли. И потом только сохраняла в файл. Дату доработки не могу обозначить но будет.

Так же обнаружена бага что формирование секундных свечей идет с ОШИБКОЙ. Дубли учитываются при подсчете объема бара. Раньше такого не было видимо что то сломали.

В итоге объем бара может быть в 2 раза больше реального. НА цены это не влияет. На всякие бай/селл объемы конечно влияет. Если считаете горизонтальные, то тоже.

сделал апдейт. Довольно серьезный. Ссылка
http://rusalgo.com/article/release-guibinconverter-v3-0.html

Просьба тестировать и давать обратную связь. Накачало я гляжу много народа, должны баги быстро выявить если есть.

родион штука безусловно нужная, до этого я не замечал когда пользовался предыдущей версией дублей и всего остального. Замечал только перед экспирацией!!

дело в том что их как бы не было и я эту ерунду с разрабами вроде как давно решил. Оказалось что нет. При разных ситуациях могло быть что перезапись или еще какая беда. В общем дубли есть, и в расчетах порой дают слишком большую кривизну.
Теперь стало просто, жмакнул на кнопку все само сделается.

для чего используешь ? а то может и мне надо, да я не в курсе

Как мне задали вопрос - а если я могу тики прям из текстовика подгружать, то накой мне эта программа?
Скорость, совершенная разница в скорости. Бинарники работают шибко быстрее. Поэтому если работаете с тиками, значит эта программа нужна

Речь идет именно о работе бинарок в процессе тестирования ? тогда спасибо

Да именно про это . Если брать из строк то там будет парсинг и конвертация а это - долгая история. А с бинарника сразу готовые структуры.
Для примера - загрузите месяц в тиках текстом и месяц бинов. Потом приложите сюда разницу во времени. Всем будет интересно

Уважаемые пользователи тслаба, просьба ко всем заинтересованным в качестве - провести тестирование.
Суть - в получении некоторой выборки по бинарным файлам с дублями тиков.

Откуда вообще появился вопрос. Проверилось по 800 файлов РИ и СИ и было найдено 30% файлов где есть дублирование сделок. Это нехорошо. Может там по одной сделочке а может по пол дня. Не разбирался еще. Но нужна статистика побольше. Если будет статистика - проблема будет более толстой чем выборка с двух человек.

Итак смысл теста:

• Загрузите прогу GuiBinConverter по ссылке http://rusalgo.com/article/release-guibinconverter-v3-0.html
  
• Положите ее в папку где у вас установлен ТСЛаб.
  
• Запустите ее оттуда. ТСЛаб должен быть вЫключен.
• Нажмите кнопку DeDup и попадете в окно дедупликации
  
• Если у вас тслаб на диске С, то обновите поставщики, выбирайте нужный. Иначе укажите напрямую папку где лежат ваши БИН файлы с тиковым кэшэм
  
• Когда выбрали поставщик или папку, можно выбрать тикеры, обновите тикеры и выбирайте самый жирный где больше история и сделок. РИ или СИ лучше всего.
  
• Нажимайте кнопку DuDup и ждите завершения процесса.

Что мы хотим получить:
На выходе у вас будут файлы с __ (файлы где найдены дубли), файлы с !(файлы где была ошибка чтения) и файлы обычные(ну с обычными именами). Предоставьте цифры:

• ваш брокер. Если они менялись то если можно укажите дату когда перешли с одного на другой. Это может быть важно.
  
• Обычных 800 штук
  
• С __ 300 штук
  
• С ! 3 штуки.
  
• Дату последнего файла с __. То есть когда последний раз в бинарниках записались дубли. Это ТОЖЕ важно. Есть подозрение что перестало биться с марта 15 года, но нужно понять. Возможно до сих пор творится нехорошее. Например для файла __RIH3_4.01.23.2013.bin дата будет равна 23.01.2013 потому что в имени месяц и дата переставлены местами.

Бояться не надо. Программа все исправленные файлы не удаляет, а складывает в эту же папку с тем же именем но __ перед ним.
Если вы не хотите рисковать, скопируйте бинарники куда либо, и в окне дедупликации укажите путь до этой новой папки. Так вы точно нигде не накосячите.

Возможные проблемы:
Программа выдает ошибку чтения файла Х и останавливает процесс.
Найдите данный файл, измените его имя поставив перед тикером знак ! (было RIH3_4.01.23.2013.bin а станет !RIH3_4.01.23.2013.bin), а лучше изменив разрешение с bin на bi. Снова жмите на кнопку DeDup.

Программа выдает какую то другую страшную ошибку и останавливает процесс.
Пишите сюда что за ошибка будем разбираться.

Очередной апдейт софт
http://rusalgo.com/article/GuiBinConverter-v3-1

Из самых важных фич поддержка QScalp. Но это уже платная опция. Все хотели но финансировать никто не стал. Я профинансировал, теперь продаю.

кидаю ссыль прямо сюда, так как с сайтом еще есть проблемы. Апдейт.
https://yadi.sk/d/fxsDdrNbsKFC2

Конвертация из текста в бары давала проблемы что тслаб не грузил эти бары полностью. Появилась после последних доработок.

Добавил проверку заголовков, если подсунете кривой текстовик то программа скажет об этом а не выдаст странную ошибку.

Всем добрый день!
При помощи GBC сделал себе сам склейку по Si с сентября 2014 года по тикам используя данные по истории QScalp от Цериха.
Сначала скачал тики (ордерлог) qsh. При помощи GBC перегнал их в бины и по видеоинструкции с канала русалго подсунул их тслабу.
Также из тиков сделал бары при помощи кубика WriteToFile и экселя.
Нарезал бары кусками по датам, так как комп вис при большом объеме тиков. Потом слил руками всё в один текстовик и опять же при помощи GBC конвертнул его в бары-бины и также подсунул лабе.

В итоге получил свою сверхточную склейку Si по барам, сделанную из тиков.
Отличия от финамовской скейки есть, особенно они заметны на днях близких к экспирации, так как финам клеит по своему "фирменному" алгоритму. Также есть пропуски некоторых свечек и даже пару дней пропущено вообще у финами. У цериха провда тоже 3 дня за весь период оказались потеряны, пришлось подклеивать их руками из своих бинов, которые были в кеше лабы.

отчет о работе ?
сколько весит добро ?
может выложить ? явно пригодится кому либо еще

Скорее просто схема работы может кому пригодится. Тики весят много, сама прога выше по ссылке.

Практический вопрос. А как конвертировать бины в txt чтобы в ТСЛабе склейку сделать тиковую? Могу я как то тики за 6 или 12 месяцев склеить ?

ну вы даете . а зачем в тхт? Поклейку удобнее сразу бинами делать. Инструкция есть на ютубке на канале русалго.

Спасибо Буду разбираться. 2.0 уже в самой лабе что то можно из кэша собирать оказывается.

ну вообще да. Если сделать склейку там то бины будут доступны по всей истории. Изврат с ручной поклейкой кажется там не нужен. Но нужно проверить все ли там ровно клеится, я уже так просто ничему не доверяю.

Вечер добрый,
Пробую тики в тесктовик перегнать GBC, но появляется сложно сочиненная ошибка и программа завершается: https://1drv.ms/i/s!AuLLM266sve3gcNJptu-Rau_zAZcHg

В списке выбора тикеров, появилась странная версия v0: https://1drv.ms/i/s!AuLLM266sve3gcNKjYJLDFAOrm2FmA

GBC 3.0.0. Tslab 1.2.26 32bit.

Сталкивался кто-нибуть с таким проявлением? Спасибо за мысли идеи.

Родион, а для версии 2.0 можно подправить конвертер?
А то в 2.0 тиковые данные архивируются в bin.gz и чтоб конвертер увидел файлы .bin - нужно разархивировать все архивы .gz
Что крайне не удобно при большом объёме файлов, но это не основная проблема
Проблема в том, что даже после разархивирования файлов bin.gz конвертер отказывается конвертировать .bin файлы
И после нажатия Save to file выдаёт вот такую ошибку
И потом если нужно .trd файл обратно перегнать в .bin, то как полученный .bin снова заархивировать в .gz ?
Что это за расширение, для меня вообще не понятно, и как в него архивировать...

Добрый день!

Эта утилита вообще живая? Должна работать с 2.0 или устарела?
Я скачал и поставил версию 3.1 GuiBinConverter.light.
Бины из .gz разархивировал.

Выдает ошибки:
-при попытке сконвертировать тики из bin в текст,
-попытке проверить тики на дубли:

Свечи конвертирует в текст нормально, но потом при попытке сконвертировать результат обратно в bin опять выдает ошибку.

Подскажите, что я не так делаю?

TSlab 2.0.20.2 64bit.
Win7Pro 64 (4Gb)
.NET Frame 4.6.2

Родион(ra81) больше не доступен.

Жаль. А вместо Родиона никто не может помочь по этой утилите?


В общем, я попробовал поставить TSLab 1.2.31.0, скопировал туда GBC, результаты другие:
1. при конвертации бинов с тиками из TSlab 2.0 выдает ту же ошибку, что и у Vtumane (2 поста выше) - скрин прилагаю.
2. текст в бины конвертирует нормально (но не проверял, примет ли их TSLAB).
3. получившиеся бины конвертирует обратно в текст нормально.

Со свечами все аналогично.

Для работы достаточно просто сделать отдельную папку, скопировать туда содержимое GuiBinConverter_bin.zip, и скопировать туда 3 файла из папки с программой TSlab 1.2:
TSLab.DataSource.dll
TSLab.DataSourceHelper.dll
TSLab.Utility.dll

Родион работал в компании rusAlgo.
Возможно кто-то из пользователей сможет помочь.

Судя по скрину у вас дата От и ДО одна и та же!!
П.с. У меня все работало хорошо. Возможно надо это делать с правами администратора. Попробуйте как вариант.

Попробовал с правами админа, и с разными датами, то же самое.

буду пробовать через TSlab 1.2