В исходниках ядра захардкожен драйвер аудио кодека tlv320aic23, который стоит на вашей материнке.
Мы в серийном изделии используем tlv32aic3104 и, поскольку его драйвер появился только в linux 4.0 (или 3.19, могу ошибаться), есть непреодолимое желание запустить на ваших модулях mainline ядро 4.0/4.1 и выше.

В целом 4.0 работает прекрасно, но опыта в написании драйверов alsa-soc нет совсем, и наскоком вопрос не решился, хотелось попросить у вас указать версию ядра (конкретный релиз/комит/бранч, возможно просто архив), которая была донором для создания linux-3.10-at91-sk, находящегося у вас на фтп в исходниках buildroot. Я уже самостоятельно diff-ом попытаюсь восстановить последовательность необходимых действий и перенести её на mainline kernel уже в виде патча. Если не трудно, передайте мою просьбу вашим программистам. С меня мануал по запуску mainline kernel и mainline u-boot на ваших модулях и вытекающий из этого мануал по сборке debian 8 jessie (уже работает из nand flash и работает отлично), openwrt (в ближайших планах) и mainline buildroot

указать версию ядра (конкретный релиз/комит/бранч, возможно просто архив), которая была донором для создания linux-3.10-at91-sk