Comment scraper les téléphones sur Leboncoin en 2022? [No Code]
Leboncoin est une fantastique source de données. Selon l'agrégateur de fréquentation SimilarWeb, le site totalise plus de 140 millions de visites chaque mois, pour un revenu total estimé entre 200 et 500 millions par an, ce qui le classe à la 9e position des sites Français en termes de fréquentation. Juste derrière Amazon. Rien que ça.
Et outre les informations concernant les annonces, ce sont souvent les numéros de téléphone des annonceurs qui intéressent les gens.
Ce tutoriel s’adressera particulièrement à vous si vous souhaitez:
faire l’acquisition d’un bien au meilleur prix
créer une liste de leads qualifiés
faire de la pige immobilière ou automobile
Pourtant Leboncoin rend cette activité de collecte de téléphones compliquée. Il faut d’abord créer un compte pour récupérer les téléphones. Ensuite, si vous allez trop vite, vous allez être bloqués par le fameux et regretté datadome.
Sans sommation.
🌝
Surtout, c’est une activité chronophage! Si vous récupérez chaque jour 100 annonces avec téléphone sur leboncoin chaque jour, à compter d’1 annonce par minute, c’est 1h30 chaque jour, dédié à une tâche répétitive et chronophage.
Comment faire?
Dans ce tutoriel, nous allons voir comment scraper chaque jour sur leboncoin les annonces des dernières 24h avec leurs numéros de téléphone et exporter ça sur une googlesheet. Automatiquement. Rapidement. Sans une ligne de code.
tl;dr
Voilà la vidéo complète:
Rapide et précis.
Légal
La question revient souvent (quasi systématiquement) sur le devant de la scène: est-ce que c’est légal de faire du scraping sur Leboncoin — de surcroît sur des données personnelles tel que le numéro de téléphone?
Comme le souligne l’article L342-3 du code de la propriété intellectuelle, lorsqu’une base de données est mise à disposition du publique, celui-ci ne peut interdire la récupération des données.
Et ce à deux conditions:
une partie dite “non-substantielle” uniquement
l’utilisateur a accès aux données de façon “licite”
En d’autres termes, il est totalement légal de collecter de la donnée publique sur Leboncoin. À la condition seulement de ne pas récupérer la totalité du site, c'est-à-dire une partie dite “non substantielle”. Et ça fait sens.
Pour avoir un aperçu complet de nos informations à ce sujet, n’hésitez pas à consulter notre article dédié, juste là: https://lobstr.io/fr/blog/scraping-leboncoin-legal-2022
En Français, s’il vous plaît.
Prérequis
Avant de vous lancer à toute vitesse dans le tutoriel qui va suivre, soyez bien d’avoir bien réalisé les deux tâches ci-après:
créer un compte sur leboncoin
prendre un plan premium sur lobstr
NB: si vous avez déjà réalisé ces deux tâches, vous pouvez directement vous rendre à la partie “Tutoriel Complet” disponible plus bas
Compte leboncoin
D’abord, commençons par créer un compte sur leboncoin! Effectivement, la collecte de téléphone sur leboncoin nécessite obligatoirement la création d’un compte en amont.
Si vous essayez de récupérer un numéro de téléphone sans avoir été connecté auparavant sur un compte, vous allez d’ailleurs être automatiquement redirigé par le site.
Créez donc un compte sur leboncoin!
Rendez-vous sur la page de création de compte, et prenez le temps de créer le compte avec lequel nous allons scraper les téléphones:
Attention, pour éviter que votre compte soit bloqué (souvent sans raison) par leboncoin, nous vous conseillons de ne pas utiliser d’adresses emails jetables, et d’utiliser des adresses emails gmail. A bon entendeur.
Attention, en plus du mail, le site web va vous demander de lier votre compte à un numéro de téléphone dédié:
Si, pour des raisons de confidentialité ou de segmentation de vos activités, vous ne souhaitez pas utiliser votre propre numéro de téléphone, vous pouvez acheter des téléphones en ligne pour l’occasion.
Avec OnOff, vous pouvez par exemple utiliser un autre numéro de mobile depuis une application mobile, à partir de 3 EUR/mois.
Compte premium lobstr
Deuxième étape: créons un compte premium sur lobstr!
Effectivement, comme mentionné lors de la création du cluster, l’outil de scrapping no code de lobstr est un outil premium, c’est à dire qu’il faut absolument souscrire à un plan payant pour pouvoir y accéder:
Il faut donc d’abord créer un compte, sur la page de création de compte de lobstr:
Et ensuite prendre un plan payant, directement depuis la page pricing:
Avec le scraper Leboncoin Listings & Phone, vous allez pouvoir collecter jusqu’à 1 numéro de téléphone par minute. Avec le plan à 20 EUR par mois, collectez donc jusqu’à 50 numéros de téléphone chaque jour.
Le compte leboncoin est prêt. Le compte premium lobstr est prêt. Il est temps de lancer le scraping. A vos pinces!
🦀
Tutoriel Complet
Dans la suite de ce tutoriel, nous allons voir comment lancer un scraping tous les jours sur leboncoin, collecter chaque jour les annonces des dernières 24h avec leur téléphone, et exporter ça directement sur une googlesheet.
Et ce en 7 étapes rapides:
synchroniser le compte leboncoin
créer le cluster
ajouter votre/vos URL(s) de recherche
limiter la collecte aux annonces des dernières 24h
exporter uniquement les données uniques
paramétrer la fréquence de lancement
exporter les données sur une googlesheet
En route!
1. Synchroniser le compte leboncoin
D’abord, nous allons synchroniser le compte leboncoin avec lobstr! Une fois cette opération faite, notre outil de scraping se connectera automatiquement à votre compte avant de collecter les données licites auxquelles le compte a accès. Pas de partage de cookie, pas de prise de tête.
Connectez-vous d’abord à votre compte lobstr, à partir de la page de Login:
Ensuite, rendez-vous sur l’onglet “Accounts” et cliquez sur “New Account”:
Sous l’onglet “leboncoin-sync account”, cliquez sur “Add Account”:
Ici, renseignez l’adresse email et le mot de passe de votre compte leboncoin, et cliquez sur “Synchronize”:
Pour des raisons évidentes de confidentialité, et en accord avec les directives concernant la protection des données personnelles des utilisateurs, l’ensemble des informations fournies sont chiffrées avant d’être stockées dans notre base de données. Nous n’avons jamais accès à vos données personnelles. Et nos robots ne les utilisent que lorsque vous le leur demandez. Et sinon? Jamais.
Attendez maintenant une vingtaine de secondes…
Et voilà le compte est synchronisé avec succès!
On va pouvoir lancer notre scraping leboncoin avec téléphone.
2. Créer le cluster
D’abord nous allons créer notre cluster, c'est-à-dire notre automatisation avec laquelle nous allons scraper les données sur leboncoin, téléphone compris.
Rendez-vous sur la page Clusters, et cliquez sur “Create a new Cluster”:
Ici, taper “phone” dans la barre de recherche, et choisissez le Crawler qui a pour nom “Leboncoin Listings & Phone Search Export”:
Et voilà le Cluster est créé!
La suite juste après.
3. Ajouter votre/vos URL(s) de recherche
Ici, nous allons récupérer notre URL de recherche. C’est à partir de cet URL de recherche que le robot va collecter le donnée. Cet URL représente donc le périmètre de collecte du robot.
D’abord, rendez-vous sur le site leboncoin.fr, et saisissez tous les critères qui correspondent à votre recherche.
Dans ce tutoriel, nous souhaitons scraper les numéros de téléphone des annonces de vente d’appartements dans la jolie ville de Bordeaux. On se rend donc sur le site, on saisit tous nos critère de recherche, et on clique sur le bouton “Rechercher”:
Et enfin, on récupère l’URL dans la barre de recherche:
Et voilà notre URL de recherche!
Il recense l’ensemble des appartements présents sur leboncoin à la vente, entre 30 et 50m², avec un prix compris entre 200 et 300 mille euros. Plus précis, tu meurs!
Revenez maintenant sur l’interface lobstr, ajouter cet URL à la liste des “Tasks”, et cliquez sur “Add”:
Et voilà la tâche est ajoutée!
Lorsque notre robot va se lancer, il va très précisément collecter les annonces présentes sur cet URL de recherche. Elles et uniquement elles.
Appuyez simplement sur “Save” pour passer à la suite:
A noter que vous pouvez ajouter une ou plusieurs tâches! Vous pouvez les ajouter à la main, ou simplement utiliser la fichier “Upload file” et uploader vos centaines d’URLs de recherche d’un coup:
Attention à bien avoir comme en-tête “url”. Et le tour est joué!
4. Limiter la collecte aux annonces des dernières 24h
Dans cette partie, on va ajuster les paramètres pour ne collecter que les annonces des dernières 24h.
Collecter les données c’est bien. Mais collecter chaque jour les données postées il y a 3 mois, c’est franchement pas ouf! Une perte de temps, et d’argent.
Heureusement, on a pensé à tout. Au niveau de “Settings”, dans la partie “Hours Back” mentionnez bien la valeur “24”:
Ainsi, dès que le scraper va tomber sur une annonce postée il y a plus de 24 heures, la collecte va s’arrêter.
Pas de vieilles annonces dépassées. Pas de doublon. Ne collectez que les annonces les plus fraîches du jour.
Nous vous proposons 24 dans ce tutoriel, mais vous pouvez bien entendu spécifier la fenêtre de votre choix. A partir d’1h pour les gros besoins de réactivité, jusqu’à plusieurs centaines d’heures si besoin. Comme il vous plaît.
5. Exporter uniquement les données uniques
Dans cette partie, nous allons voir comment ajuster les paramètres du Cluster, pour se débarrasser automatiquement des doublons.
Collectez des données c’est bien! Mais collectez des milliers de doublons, et passez 20 minutes chaque jour à les dédoublonner sur Excel, c’est ingrat. Heureusement, ici aussi, on a pensé à vous.
Dans la partie “Advanced settings”, veillez bien à ce que “Unique Results” soit bien coché:
Et voilà, la machine est prête!
Cliquez sur “Save”, et passons à l’étape suivante.
6. Paramétrer la fréquence de lancement
Enfin, dans la partie “Launch”, précisez la fréquence avec laquelle vous souhaitez que le scraping leboncoin se lance.
Comme nous ne récupérons que les annonces des dernières 24h à partir de l’heure de lancement, nous allons lancer notre robot tous les jours à 7h du matin!
On clique donc sur “Repeatedly” (1), puis on précise “Days” (2), pour chaque jour, et enfin on précise l’heure de lancement. Ici, 7h du matin (3) :
Pour ce tutoriel, nous avons choisi un lancement journalier, souvent utilisé par nos utilisateurs. Vous pouvez toutefois opter pour un lancement à la minute, à l’heure, tous les jours de la semaine, le week-end étant exclu, à des jours de la semaine donnés, ou le 13 du mois? Tout est possible.
Enfin cliquez sur Save (4). Le cluster est prêt! Et le premier run aura lieu demain à 7h du matin:
La machine est prête à être lancée!
Un dernier détail, et tout sera fin prêt: l’export des données.
7. Exporter les données sur une GoogleSheet
Dans cette partie, nous allons voir comment exporter automatiquement les données vers une GoogleSheet, une fois la collecte terminée.
Le crawler est prêt. Orientez sur notre URL de recherche donnée. Et paramétrer pour ne se lancer tous les matins à 7h du matin, et ne collecter que les annonces des dernières 24h avec numéro de téléphone.
Depuis la page du Cluster, commencez par cliquer sur l’icône “Delivery”:
Une fenêtre va glisser depuis la droite. Sélectionner GoogleSheet (1), et ajouter l’URL de la GoogleSheet (2) sur laquelle vous souhaitez récupérer les données:
Enfin, cliquez sur “Save” (3) :
Et voilà, c’est fait! Une fois les données collectées, elles vont automatiquement être exportées sur une GoogleSheet.
Attention, soyez bien sûr que la GoogleSheet est prête à être éditée pour tous. Une fois présent sur la GoogleSheet, une fois que vous avez cliqué sur “Share”, vous devriez avoir “Anyone with the link” (1) et “Editor” (2) :
C’est à cette condition là seulement que le scraper va pouvoir exporter les données, une fois la collecte terminée.
8. Bonus!
Et voilà, nous sommes fins prêts!
Cerise sur le gâteau, parce que vous êtes pressés, vous ne souhaitez pas attendre jusqu’à demain, et souhaitez directement lancer une première collecte manuellement.
Pour lancer directement le scraping leboncoin, cliquez sur ”Launch”:
Le résultat va directement apparaître sous vos yeux et dans la console, ce qui va vous permettre de suivre les faits et gestes du scraper à la trace:
Y compris:
le % de complétion
le nombre de résultats récupérés
le nombre de résultats total
le logging
la résolution des captchas
l’export des données
Et une fois la collecte terminée, les données sont envoyées directement sur la GoogleSheet:
https://docs.google.com/spreadsheets/d/1IYzj2ZR2tUzsJutpYaG_XRb9Wiihpy5MsULRZUGFZGI/edit#gid=0
Exhaustif. Rapide. Sans effort.
Félicitations!
Conclusion
Et voilà, le tutoriel du scraping leboncoin avec téléphone est terminé!
Dans ce tutoriel, nous avons vu comment paramétrer notre outil no-code pour scraper tous les jours les annonces immobilières avec téléphone des appartements à Bordeaux, et les exporter directement sur une GoogleSheet une fois la collecte terminée.
A savoir qu’avec le plan à 20 EUR par mois, vous allez pouvoir récupérer jusqu’à 50 annonces avec téléphone par jour. Si vous avez besoin de volume supplémentaire, contactez-nous directement ici, ou via le chat.
Happy scraping!
🦀
