Comment scraper Leboncoin rapidement et gratuitement?

Overview

Leboncoin est un gisement de données fantastique. Selon les dires d’Antoine Jouteau pour Le Parisien, le 26 mai 2020, le DG du site, la plateforme française de recensement d’annonces totalise 30 millions d’annonces postées simultanément. Avec 3 secteurs prioritaires: l’automobile, l’immobilier, et l’emploi.

Au-delà du volume, colossal! chaque annonce sur leboncoin est une mine exceptionnelle d'informations. Sur une annonce immobilière, on y retrouve pêle-mêle le titre de l’annonce, mais également les images, le prix du bien, la localisation, le numéro de téléphone de l’annonceur, le nombre de pièces…

Avec un petit script Python, ça devrait le faire… Quelques lignes de code, et tada!

import requests
s = requests.Session()
s = requests.Session()
r = s.get('https://www.leboncoin.fr/ventes_immobilieres/2156084495.htm')
with open('2156084495.htm', 'w') as f: 
    f.write(r.text)

Pourtant à l’exécution, c’est la douche froide, le site est protégé par datadome, une société française spécialisée dans la bot-mitigation — qui détecte les visiteurs considérés comme des robots… et leur interdit l’accès au site. Aussi bien intentionnés soient-ils.

Dès lors, comment faire du scraping sur leboncoin, et récupérer tous les jours, sans code, sans galère, toutes les nouvelles annonces d’une catégorie donnée?

Dans cet article, on va voir comment faire ça en une trentaine de secondes. Ni plus ni moins.

🤖

Target

Tout d’abord, on va aller prendre sur leboncoin l’URL de recherche — c’est l’URL initial à partir de laquelle le robot va récupérer les annonces.

Il suffit de se rendre sur leboncoin, utiliser l’ensemble des critères de recherche de son choix, et récupérer notre précieuse URL.Par exemple, toutes les maisons à louer à Cassis, dans le sud de la France, cet été:

Il faut savoir se faire plaisir…

🌞

Et voilà notre URL de recherche, à conserver précieusement pour la suite: https://www.leboncoin.fr/recherche?category=9&locations=Cassis_13260__43.21419_5.54296_4846

Setup

Maintenant, paramétrons l’outil de collecte en ligne! 0 ligne de code. 30 seconde top-chrono. Aussi facile que ça.

D’abord rendons-nous rapidement sur le joli outil de scraping, directement pilotable depuis une interface, juste là:

https://lobstr.io/fr/store/33db1ca85160105eeb84d5aa51cfad10/leboncoin-iter-listingsEt cliquez directement sur “Start Now”: Ensuite, créons sur “Create a new Cluster”:

L’UX a vraiment été bien pensée.

Puis on tape “leboncoin” pour rapidement trouver le crawler que l’on souhaite utiliser:

Launch

Place au lancement!

D’abord, placer l’URL précédemment sauvegardé au niveau du champ URL (1).

Par ailleurs, on ne souhaite pas collecter les annonces vieilles de plus de 24h. Une vieille annonce, c’est une annonce qui perd déjà de sa valeur. Dans le champ ‘Hours Back’, on va donc renseigner 24 (2).

Enfin, cliquez sur le joli bouton Save (3):

Sur le frame suivant, cliquez sur ‘Manually’ (4) — on ne va lancer le crawler qu’une seule fois, un clique à la main suffira.

Et appuyez sur Save (5) tout simplement:

Et voilà, votre cluster est créé!

Pour le lancer, il suffit d’appuyer sur ‘Launch’ en haut à droite: Et voilà, la machine est lancée!

5 étapes, 30 secondes de déploiement. Ni plus, ni moins.

Enjoy

Cliquez rapidement sur le ‘Run’ qui vient de se lancer:

Vous voilà sur la page de ‘Run’, où les résultats vont directement s’afficher en temps réel. Et après quelques minutes d’attente… quel plaisir!

De superbes données proprement structurées et directement exploitables (1). Et des données directement exploitables en appuyant sur le gros bouton rouge (2) en haut à droite, comme présenté ci-dessous: Et une fois ouvert dans Numbers, voilà le travail — de superbes données immobilières, proprement structurées, directement exploitables, et collecter gratuitement. En 5 cliques. Tout simplement magique.Au final, on a collecté, en 1 minute, sans code, 35 annonces immobilières i.e. approximativement 35 annonces par minute, sans numéro téléphone. Avec notre plan gratuit de 15 minutes par jour, vous allez donc pouvoir collecter approx. 500 annonces par jour sans numéro de téléphone. Sans dépenser un sou.

Conclusion

Leboncoin est une formidable source de données. Avec plus de 135 millions de visites mensuelles, c’est le premier site de petites annonces en France, notamment sur les secteurs de l’immobilier, de l’automobile et de l’emploi.

Pourtant, les outils de ‘bot-mitigation’ rendent toute collecte automatique impossible, et contraignent les usagers à une récupération de données manuelles et fastidieuse.

Avec lobstr, collecter les données en 5 clics, sur la cible de votre choix. Sans code. Entièrement gratuitement.

Happy scraping!

🦞