Ну вот, думал что в моем коде проблема и нагружаю сильно....
А как оказалось процессор работал на частоте 396 и при максимальной нагрузке не поднимал.

Хехе... Режим работы по умолчанию выставлен - powersave.
Как так получилось, не знаю. К процу не лез, настройки ядра не менял. Мистика одним словом))

Поменял пока на performance.

echo performance > /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor
echo performance > /sys/devices/system/cpu/cpu1/cpufreq/scaling_governor

Полетели......

ЗЫ Все к лучшему... За неделю, не зная что частота понижена, вылезал и переписал код своей программы так что теперь и на этой частоте хватает)))