Scraping

Par Feau, il y a 1 an


Les bases HTML/CSS

Bonjour,
Etant nul en codage je me tourne vers vous.
Je souhaiterais faire du scraping sur les pages jaunes pour mettre sur un fichier excel les données par exemple lié à un métier sur une commune précise.Certains logiciels le font mais ils font du scraping sur les 30 premiers professionnel..Hors je souhaiterais le faire pour plus de 3 000 professionnels.
Merci d'avance pour votre aide

1 réponse

popotte, il y a 1 an

Hello :)

Alors le soucis c'est qu'il y a une pagination

Tu peux utiliser cet url:

https://www.pagesjaunes.fr/annuaire/chercherlespros?quoiqui=electricien&ou=paris-75&quoiQuiInterprete=electricien&idOu=L07505600&page=2

Et adapter les paramètres de l'url

Tu lances le scraping dans une boucle qui fetch l'url avec page=1, puis 2, puis 3, etc... et qui s'arrete dès qu'une page possède moind de 30 résultats