3 meilleurs outils de scraping sur SeLoger en 2022

SeLoger est une source de données fantastique. Au 15/08/2022, le site recense un peu plus de 620 185 biens à la vente, partout en France, et pas moins de 97 873 biens à la location. Ce qui en fait un acteur incontournable du marché immobilier français.

Dans ce tutoriel, nous allons donc voir ensemble les 3 meilleurs outils pour faire du scraping sur SeLoger, avec 2 solutions sans code, et 1 solution à tester avec un développeur.

A nous les belles bâtisses!

🏡

Legal

Avant de rentrer dans le vif du sujet, une question revient souvent sur le devant de la scène : est-ce que c’est légal de faire du scraping sur SeLoger?

« l'Utilisateur s'interdit de procéder à :

l'extraction par transfert permanent ou temporaire de la totalité ou d'une partie qualitativement ou quantitativement substantielle du contenu d'une ou plusieurs des bases des données accessibles sur le Site Internet […] »

Et bien, comme le suggère le site, dans un jargon juridique qui n’est pas nécessairement accessible à tous, oui le scraping sur SeLoger est entièrement légal!

Et ce à deux conditions:

1. la récupération doit être non substantielle
2. l’utilisateur a accès aux données de façon “licite”

En d’autres termes, totalement légal de le faire, tant que vous ne récupérez pas la totalité du site, c’est-à-dire une partie dite “non substantielle”.

Attention, c’est en anglais. Crustacé et polyglotte.

1. Lobstr.io

🦀

Sans biais aucun (pince), il faut reconnaître que l’outil est particulièrement robuste.

Tout d’abord, l’UX est simple à prendre en main, et particulièrement intuitive. Il suffit de choisir le scraper depuis notre boutique, préciser votre URL de recherche SeLoger (par exemple: https://www.seloger.com/list.htm?projects=2&types=2,4,1,9,12,14,13,11,3,10) et appuyer sur “Launch”. Facile!

Une fois la collecte lancée, l’interface communique abondamment, avec des indicateurs précis et nombreux: chronomètre, liste de résultats, statut de la collecte.

Pour chaque annonce, le scraper récupère 35 attributs distincts. Avec les attributs usuels: taille de l’appartement, prix, type de bien, code postal. Et de nombreux attributs avancés: photos, tags, URL de la visite virtuelle, téléphone de l’agence.

Par ailleurs, vous pouvez bénéficier, à vie, de 15 minutes d’extraction gratuite par jour. Ce qui représente, environ 350 annonces récupérables par jour totalement gratuitement. Le premier plan commence à 20 EUR, avec 1h de collecte par jour soit 1500 annonces par jour, ce qui en fait la solution la plus compétitive du marché.

En plus de la collecte traditionnelle, vous pouvez paramétrer un lancement à heure régulière. Par exemple, lancer le scraper tous les jours de la semaine à 8h du matin. Et vous allez également pouvoir recevoir vos données de façon automatique: par mail, déposées sur un bucket s3, ou directement exportées sur une googlesheet de votre choix.

Enfin, pour les plus nerds d’entre vous, vous pouvez piloter le lancement et la récupération du robot directement depuis notre API documentée, disponible ici: https://docs.lobstr.io/.

A qui s’adresse cet outil de scraping?

Lobstr.io s’adresse à l’utilisateur qui souhaite utiliser un outil no-code robuste et simple d’utilisation, ou au développeur/à la startup qui souhaite déployer une solution programmatique at scale directement via l’API.

Pros

1. UX ludique
2. 15 minutes gratuites chaque jour
3. 25 annonces par minute
4. 35 attributs
5. Collecte scalable
6. Lancement régulier
7. Export automatique
8. API dédiée

Cons

1. Scraper non customisable

2. Axiom.ai

L’add-on propose par ailleurs des fonctionnalités additionnelles intéressantes, avec la possibilité, comme sur lobstr, de lancer l’automatisation à fréquence répétée, ou d’exporter les données directement vers une googlesheet.

En termes de prix, vous pourrez profiter d’un plan gratuit à vie, avec 2h de collecte gratuites. Et 30h de collecte par mois à partir de 15 USD par mois. Une solution qui est donc environ 2 fois plus chère que la solution précédente, mais intéressante pour de petits volumes de données.

Toutefois, à l’usage et de façon concrète, la solution ne fonctionne pas. La sélection des attributs est fastidieuse, imprécise et redondante. Et à notre grand désarroi, sur les 100 lignes de données que nous nous attendions à récupérer, seulement 2 lignes de données ont été récupérées.

Par ailleurs, la solution ne contourne pas les dispositifs anti-robots. Après un certain temps d’usage, un captcha apparaît, et sauf erreur de ma part, il semble impossible de le résoudre de façon programmatique. C’est-à-dire qu’il ne sera ni possible de programmer une collecte régulière, ni de collecter de la donnée à grande échelle.

A qui s’adresse cet outil de scraping?

L’interface est très ludique, mais il faut un peu de maîtrise pour le paramétrer de façon précise et obtenir des résultats consistants dans le temps. L’outil s'adresse donc à un head of Growth, à l’aise avec une interface low-code, et disposant de quelques connaissances techniques.

Définitivement pas à la portée du premier venu!

Pros:

1. UX très ludique
2. Customisation infinie
3. 120 minutes par mois gratuitement
4. Pricing accessible

Cons:

1. Collecte incomplète
2. Captcha non géré
3. Récupération fastidieuse des attributs
4. Documentation complexe

3. ScrapingBee

SeLoger est pourtant particulièrement bien protégé par un système avancé, repérant les “visiteurs” indésirables (robots) et les bloquant.

Nous allons voir si la solution tient ses promesses!

L’interface est vraiment superbe! Le ‘Request Builder’ a été particulièrement bien pensé, et permet de construire la requête de façon particulièrement simple et rapide. Et en cas de doute, on peut s’appuyer sur une documentation très détaillée.

Du côté de l'UX, c'est à nouveau un grand plaisir. On va pouvoir générer du code dans toutes les langues, avec la possibilité de lancer ce code en un seul clic.

Côté prix, vous disposez de 1000 crédits gratuits. Avec des prix OK: 100 000 crédits pour 50 USD, soit environ 1500 pages de résultats par mois. C’est 3 fois plus cher que lobstr, mais reste accessible. Par ailleurs, le nombre de crédits consommés par requête est clair, et pas de facturation en cas d’erreur. De ce côté-là, la promesse est tenue. You shall pass, or you shall not pay.

🧙‍♂️

Malheureusement, malgré nos multiples essais, la solution ne fonctionne pas. Nous avons bien sélectionné les options les plus furtives pour contourner la protection anti-bot, mais le résultat reste le même: erreur 500!

@scrapingbee, si vous passez par là et que la solution fonctionne à nouveau, n’hésitez pas à nous solliciter pour qu’on puisse mettre à jour notre série de tests!

A qui s’adresse cet outil de scraping?

À un ou des développeurs! Qui ont envie de coder leur propre script de scraping, avec les avantages que cela comporte: flexibilité, rapidité d'intervention, propriété intellectuelle. Attention, il faut donc impérativement s’y connaître en développement informatique.

À cette condition, et sous réserve que l’outil fonctionne à nouveau, il s’agit d’une solution de scraping agréable à utiliser et clairement documentée.

Pros:

1. UX très claire
2. Documentation très détaillée
3. Lancement facile
4. Données brutes
5. 1000 crédits gratuits
6. 50 USD pour environ 1500 pages de données

Cons:

1. Ne fonctionne pas (!)
2. Il faut savoir coder

Conclusion

Et voilà, la phase de test est terminée!

Au final, lobstr.io est la seule solution qui permette une collecte valide, fiable et compétitive. Les deux autres solutions semblent chacune intéressantes, avec des promesses fortes de souplesse et de flexibilité. Toutefois, à l’épreuve du réel, aucune ne parvient à renvoyer des données précises et fiables de façon répétée dans le temps.

Un test unique n’est toutefois jamais suffisant pour s’assurer de la viabilité d’une solution. N’hésitez pas à tester également de votre côté, et à vous forger votre propre opinion!

En espérant que cet article vous aura donné des pistes utiles d’exploration.

Happy scraping!

🦀