Est-ce valide de mettre du CSS directement dans les balises ?

bien sur que oui, sauf qu'il faut terminer tes données par un ";" comme dans un fichier .css externe. Ici pour toi sa fera donc : <p style="color:black;">Hello world</p>

Mais le .css externe est bien mieux, au moins pour l'organisation et la propreté de la page.