J'ai pas d'éxpérience directe mais je travail depuis plusieurs mois avec Angular JS et CakePHP 2.5 & 3 sur mon temps libres.
Je pense pas que cela soit difficile vus que au final avec angular tu va juste gérer des vues html . Par contre je pense que tu ne pourras plus utiliser le helper HTML ce qui peut être relativement contraignant avec PHP (Tu vas devoir gérer plus de code pour le traitement de tes formulaires).
Après sa reste au final un simple application et tu peut gerer ton admin via une API REST. C'est assez facile de mettre ça en place, attention par contre tu vas devoir gérer une authentification sécurisé avec token etc...
Bref à toi de voir, je pens que c'est une bonne expérience.