Вы будете смеяться, но у меня всю жизнь был такой подход. Если вам нужно быстрее, купите машину побыстрее. Если вам нужно еще быстрее, распараллельте.

Правда, не так давно я не нашел общего языка с одной конторой, где надо было в генах искать всякую холеру и сифилис, и для этого они хотели, чтобы я спарк привинтил, ну типа процесс долгий; а я взял Укконена, и все линейно, и все задачи эти решаются за несколько минут в одной программе (ну, правда, на 4 ядрах) - так незачем и огород городить. Спарк особенно, боже мой.