Comment scraper les annonces de Noël sur Leboncoin en 2022 [No Code]
Leboncoin, le premier site de petites annonces en France, avec 150 millions de visites par mois, propose pour ce Noël 2022 de superbes sélections de cadeaux.
Et on retrouve tout ce qui nous plaît sur cet incontournable site de petites annonces:
- produits de qualité
- vendus par des particuliers
- à des prix ultra-compétitifs
Seul hic! En se rendant ici, sur la catégorie Apple iPhone 11, avec un prix de 150 à 300 EUR, et une mémoire de 128 GB, il reste encore approx. 300 belles annonces.
Pas simple à gérer!
Dans cet article, nous allons voir comment scraper, avec lobstr, l’intégralité des annonces présentes sur la catégorie mentionnée plus haut, et trouver la perle rare de Noël à mettre sous le sapin.
En 2 cliques. 10 minutes. Et entièrement gratuitement. Allons-y!
Vidéo
Voilà la vidéo complète:
En tout et pour tout, le paramétrage, la collecte, et le tri prennent douze minutes. Pas plus! Avec plus de 300 annonces leboncoin collectées. Et 2 annonces gagnantes conservées.
Pour faciliter le visionnage, la partie collecte a été coupée, et la vidéo ne dure que 2 petites minutes ici.
😌
Tutoriel Complet
Dans la suite de ce tutoriel, nous allons voir comment collecter l’ensemble des annonces d’iPhone 11 sur Leboncoin, partout en France, les exporter automatiquement sur une Googlesheet. Et dénicher en 10 minutes la perle rare à mettre sous le sapin le 25. Sans une ligne de code. En quelques clics.
A l’aide de notre puissant robot de scraping Leboncoin Listings Search Export, prêt à l’emploi, et accessible gratuitement en ligne.
Avec 5 étapes simples:
- récupérer l’URL de recherche Leboncoin
- récupérer l’URL de la Googlesheet qui va réceptionner les données
- configurer le robot de scraping lobstr
- configurer l’export des données vers la Googlesheet
- lancer la collecte de données et dénicher la perle
Allons-y!
A nous le smartphone dernier cri. À tout petit prix.
1. Récupérer l’URL de recherche Leboncoin
D’abord, nous allons commencer par récupérer l’URL de recherche leboncoin qui contient l’ensemble des annonces qui nous plaisent.
C’est notre point d’entrée sur le site!
On se rend donc sur le site leboncoin, dans la jolie section cadeaux mise en place spécialement pour ce Noël. En descendant en bas de page, une catégorie attire tout de suite le regard du père de Noël en herbe avisé :
“Notre sélection de smartphones”
On va donc immédiatement cliquer sur “Voir tout” :
Et voilà, des téléphones par millier!
https://www.leboncoin.fr/recherche?category=17&shippable=1&price=150-max&shipping_type=mondial_relay
Malheureusement, le résultat est inexploitable: le site nous renvoie plus de 111 943 items. Des téléphones par milliers, et impossible à trier, avec ou sans robot.
On va donc réduire le scope comme suit:
- min. 150 EUR
- max. 300 EUR
- marque Apple
- modèle iPhone 11
- capacité de stockage 128 Go
Et bien sûr, livraison autorisée, pour profiter de la livraison Mondial Relay, et des bonnes affaires partout en France.
Cette fois-ci, le compte est bon, avec approx. 300 résultats uniques. C’est un nombre intelligible, mais difficile encore à appréhender pour un être humain. Comment récupérer tous ces résultats et les trier depuis une Googlesheet?
On va pour le moment copier l’URL de recherche de notre navigateur, comme présent ci-dessous, et le conserver précieusement:
Avant que le scraping ne commence, une dernière étape de préparation.
2. Récupérer l’URL de la Googlesheet qui va réceptionner les données
Dans cette partie, nous allons préparer la Googlesheet sur laquelle l’ensemble des données vont être exportées une fois la collecte terminée. Dans un format lisible, structuré, et exploitable ihtuitivement.
D’abord, on se rend sur Googlesheet, et on crée simplement un nouveau feuillet vide :
Une fois le feuillet créé, on va simplement modifier cliquer sur Partager, pour s’assurer que quiconque possède le lien puisse modifier le feuillet :
En 3 étapes donc :
- Partager
- Quiconque possède le lien
- Edition
Le feuillet est désormais fin prêt à accueillir des données fraîches et à forte valeur ajoutée!
Ici aussi, on copie du feuillet depuis notre navigateur, que l’on va conserver précieusement :
https://docs.google.com/spreadsheets/d/1XCmIjPE2V-MmjKiU-6-AlQkCVjxixEV6DuITIccA8WY/edit#gid=0
Nous sommes fin prêts. A nous le scraping des annonces de smartphones leboncoin!
3. Configurer le robot de scraping lobstr
La préparation a été bien menée, avec 2 liens distincts récupérés :
- l’URL de recherche leboncoin qui va nous servir de point d’entrée
- l’URL de la Googlesheet qui va réceptionner les données
Il est temps de lancer le scraping des annonces de smartphones sur leboncoin!
D’abord, on se rend sur lobstr, et notamment sur la page du robot de scraping d’annonces leboncoin. Il suffit de cliquer sur “Commencer” pour entamer la collecte :
Une fois sur la page de l’application, cliquer sur “Create a new Cluster”, puis dans la barre de recherche taper “leboncoin”. Enfin, sélectionner “Leboncoin Listings Search Export”, le premier des deux robots disponibles :
Le robot de scraping d’annonces leboncoin “Leboncoin Listings Search Export” sans téléphone est entièrement gratuit! Il suffit de créer un compte sur lobstr, et de profiter chaque jour, de 15 minutes de collecte gratuite. Pour toujours.
Dans la partie “Add Tasks”, ajoutez l’URL de recherche récupérée plus tôt, et cliquez sur “Add +”. La tâche est ajoutée tout simplement, vous pouvez ensuite cliquer sur “Save” et passer à l’étape suivante :
La partie “Settings” et “Notifications” ne présentent pas d’intérêt compte tenu du volume de recherche en questions, c'est-à-dire approx. 300 annonces. Vous allez pouvoir directement appuyer sur “Save”, et passer à la 4e étape.
Enfin, dans la partie “Launch”, comme nous n’allons lancer le crawler qu’une seule fois, manuellement, cliquez sur “Manually”, puis “Save & Extract” :
Pour le moment, on va cliquer sur “Later”. Une dernière étape est nécessaire avant de lancer la machine!
4. Configurer l’export des données vers la Googlesheet
Et voilà la machine est presque prête à l’emploi! Une dernière étape est désormais nécessaire. Assurer qu’une fois les données collectées, celles-ci soient proprement exportées vers le feuillet Googlesheet.
Pour cela, on va d’abord cliquer sur “Delivery”, l’icône avec le petit avion en papier en haut à droite de l’écran d’affichage :
Une barre latérale s’ouvre sur le côté droit. Ici il suffit de :
- cocher la box Googlesheet
- ajouter l’URL du feuillet constitué dans la partie 2
- appuyer sur “Save”
Et voilà l’affaire est dans le sac! Il suffit maintenant de lancer la collecte — et de profiter pleinement des données.
5. Lancer la collecte de données et dénicher la perle
Le gros du travail est maintenant terminé, bravo! La prochaine étape, c’est de lancer la collecte. Pour cela il suffit de cliquer sur le gros bouton “Launch” en vert, en haut à droite :
Et voilà la machine est lancée!
Le scraper leboncoin collecte 35 annonces par minute, c'est-à-dire toutes les annonces d’une page en 1 minute. Pour collecter approx. 300 annonces, il faut compter approximativement 10 minutes. Ni plus, ni moins.
Et après 10 minutes de collecte, l’affaire est pliée!
On se rend sur la Googlesheet citée plus haut, et là, magie… les données des 300 annonces de la catégorie ont toutes été parfaitement exportées, avec des données proprement séparées et exportées en intégralité.
On va maintenant aller dénicher la perle!
Directement avec Googlesheet, on va procéder comme suit :
- filtrer l’ensemble des données
- couleur: Noir
- état: Très bon état
- trié par: prix décroissant
Bien sûr, on aurait pu faire ça directement depuis le site leboncoin. Toutefois, pour avoir le contenu de la description, il aurait fallu:
- cliquer sur une annonce
- lire la description
- revenir à la page principale
Grâce à l'export des données des annonces dans 1 seule Googlesheet centralisé, on va au contraire pouvoir directement observer la partie "Description" sans effort, ou chercher si certains mots clés sont présents dans une des annonces.
Le gain de temps est colossal.
La première annonce est très peu cher! 150 EUR seulement. Mais la description est sans appel: “Le téléphone s’allume 3 minutes puis s’éteint et redémarre”. Impossible de compter dessus pour faire un heureux.
En reproduisant le même comportement pour les annonces suivantes, 2 superbes annonces ressortent:
- prix: 250 EUR
- état parfait
Il ne reste plus qu’à aller sur la page d’annonce, et à contacter directement les vendeurs. Et une fois la transaction réalisée, glisser le téléphone juste sous le sapin.
On récupère l’URL depuis la colonne ‘url’, et l’annonce.. la voilà:
Gagné.
Conclusion
Et voilà c’est la fin de ce tutoriel!
Nous avons vu comment, avec lobstr, collecter en 10 minutes, gratuitement, les données en intégralité de 300 annonces, dans la catégories Téléphonie, et utiliser l’export automatique sur Googlesheet pour exporter les données puis trouver la perle rare.
Plus besoin de scroller pendant des heures sur le site, à cliquer comme un forcené sans succès. Exporter vos données en 2 cliques. Gagner du temps. Gratuitement.
Joyeux noël…
🎅
..et..
Happy scraping!
🦀
Sasha Bouloudnine Co-founder @ lobstr.io depuis 2019. Fou de la data et amoureux zélé du lowercase. Je veille à ce que vous ayez toujours la donnée que vous voulez.
