Рекомендации использовать 64бит были, если при 32бит оптимизации идут ошибки нехватки памяти. Если ошибок нет, то 32бит будет быстрее, хотя бы потому, что сами данные занимают несколько меньший объем памяти.
Проблема нами всестронное не изучалась, но скорее всего связана с работой сборщика мусора в NET в 64бит. Возможно стоит попробовать версию 1.2. Она использует NET 4.0 и там другой алгоритм сборки мусора, более быстрый.