На самом деле, как я писал, проблемы именно в большой загрузке процессора, а сборка мусора имеет низкий приоритет. нам нужно научить притормаживать оптимизацию.

Попробуйте уменьшить кеш до 1мб и сократить количество потоков. Это уменьшит скорость, но память будет чистится лучше.

Выкладываю здесь обещанный 64бит загрузчик (на 32бит ОС он будет работать как 32бит, т.е. ничего не изменится)