Значительная (а может и бОльшая) часть времени загрузки ядра уходит на инициализацию драйверов. Соответственно, для случаев чувствительных к времени загрузки, нужно отключать в ядре все что только можно, вынося менее приоритетные драйвера модулями с последующим их включением после загрузки.
Если правильно помню, на imx6 удавалось сократить время загрузки до 3 секунд ...
Штатные технологические прошивки, время от включения до приглашения в консоль:
ES-T113-NANO c SPI-NAND ~7 секунд
ES-T113-NANO c eMMC ~4 секунды

Кстати, в загрузчике uboot (это уже не относится к T113) тоже могут быть "замысловатые" стартовые скрипты (с инициализацией или поиском устройств) ну или банально 3 секунды паузы по умолчанию, что тоже порядком прибавляет времени на загрузку.