я к тому что грузится она после загрузки ядра и весьма небыстро, сделайте динамический модуль и паузу хоть на час, какой смысл в вашем случае экономить на милисекундах ?
так они и у вас всегда будут - никуда они чудесным образом не исчезнут, без них невозможна корректная инициализация устройств
можно замапить регистры PMC и запустить PCK без лазаний в исходники ядра, при условии что в ядре регистры не кэшируются в памяти иначе любое переключение в ядре снова его отключит
можно не патчить ядро а компилировать DTS отдельно и используйте внешние модули - они тоже никакие патчи не требуют