3 meilleurs outils de scraping sur SeLoger en 2022

SeLoger est une source de données fantastique. Au 15/08/2022, le site recense un peu plus de 620 185 biens à la vente, partout en France, et pas moins de 97 873 biens à la location. Ce qui en fait un acteur incontournable du marché immobilier français.

Par ailleurs, selon cet excellent article de Immomatin, qui reprend un rating de Médiamétrie d’octobre 2019 basé sur un panel de 25 000 internautes, le site a accueilli en Octobre 2019 plus de 6,36 millions de visites uniques. Le site se place donc en solide seconde position, derrière leboncoin avec 12,08 millions, et Bien’ici avec 3,94 millions.

Dans ce tutoriel, nous allons donc voir ensemble les 3 meilleurs outils pour faire du scraping sur SeLoger, avec 2 solutions sans code, et 1 solution à tester avec un développeur.

A nous les belles bâtisses!

🏡

Legal

Avant de rentrer dans le vif du sujet, une question revient souvent sur le devant de la scène: est-ce que c’est légal de faire du scraping sur SeLoger?

Et pour cause, les CGUs du site précise comme suit:

« l'Utilisateur s'interdit de procéder à :

l'extraction par transfert permanent ou temporaire de la totalité ou d'une partie qualitativement ou quantitativement substantielle du contenu d'une ou plusieurs des bases des données accessibles sur le Site Internet […] »

Et bien, comme le suggère le site, dans un jargon juridique qui n’est pas nécessairement accessible à tous, oui le scraping sur SeLoger est entièrement légal!

Comme le souligne l’article L342-3 du code de la propriété intellectuelle, lorsqu’une base de données est mise à disposition du public, celui-ci ne peut interdire la récupération des données.

Et ce à deux conditions:

1. la récupération doit être non substantielle
2. l’utilisateur a accès aux données de façon “licite”

En d’autres termes, totalement légal de le faire, tant que vous ne récupérez pas la totalité du site, c’est à dire une partie dite “non substantielle”.

Pour avoir un aperçu complet de nos informations à ce sujet, n’hésitez pas à consulter notre article dédié, juste là: https://lobstr.io/blog/data-scraping-illegal.

Attention, c’est en anglais. Crustacé et polyglotte.

1. Lobstr.io

Lobstr.io est une société créée en 2019, et basée en France. Nous vous permettons de scraper la donnée dont vous avez besoin. Avec deux offres distinctes: vous pouvez soit collecter de la donnée à partir de l’un des scrapers déjà développé et présent sur notre boutique, soit faire une demande auprès de l’équipe technique et développer précisément le robot dont vous avez besoin.

🦀

Sans biais aucun (pince), il faut reconnaître que l’outil est particulièrement robuste.

Tout d’abord, l’UX est simple à prendre en main, et particulièrement intuitive. Il suffit de choisir le scraper depuis notre boutique, précisé votre URL de recherche SeLoger e.g. https://www.seloger.com/list.htm?projects=2&types=2,4,1,9,12,14,13,11,3,10 et appuyer sur “Launch”. Facile!

Une fois la collecte lancée, l’interface communique abondamment, avec des indicateurs précis et nombreux: chronomètre, liste de résultats, statut de la collecte.

Pour chaque annonce, le scraper récupère 35 attributs distincts. Avec les attributs usuels: taille de l’appartement, prix, type de bien, code postal. Et l’ensemble des attributs avancés: photos, tags, URL de la visite virtuelle, téléphone de l’agence.

Par ailleurs, vous pouvez bénéficier, à vie, de 15 minutes d’extraction gratuite par jour. Ce qui représente, approx. 350 annonces récupérables par jour totalement gratuitement. Le premier plan commence à 20 EUR, avec 1h de collecte par jour soit 1500 annonces par jour, ce qui en fait la solution la plus compétitive du marché.

En plus de la collecte traditionnelle, vous pouvez paramétrer un lancement à heure régulière. Par exemple, lancer le scraper tous les jours de la semaine à 8h du matin. Et vous allez également pouvoir recevoir vos données de façon automatique: par mail, déposé sur un bucket s3, ou directement exporté sur une googlesheet de votre choix.

Enfin, pour les plus nerds d’entre vous, vous pouvez piloter le lancement et la récupération du robot directement depuis notre API documentée, disponible ici: https://lobstrio.docs.apiary.io/.Si vous avez besoin d'un tutoriel exhaustif, avec des démonstrations image par image, des cas d'utilisation et une description des fonctionnalités avancées, veuillez consulter notre tutoriel complet sur l'extraction des annonces SeLoger, disponible juste ici.

A qui s’adresse cet outil de scraping?

Lobstr.io s’adresse à l’utilisateur qui souhaite utiliser un outil no-code robuste et simple d’utilisation, ou au développeur/à la startup qui souhaite déployer une solution programmatique at scale directement via l’API.

Pros

1. UX ludique
2. 15 minutes gratuites chaque jour
3. 25 annonces par minutes
4. 35 attributs
5. collecte scalable
6. lancement régulier
7. export automatique
8. API dédiée

Cons

1. scraper non customisable

2. Axiom.ai

Axiom.ai est une société allemande, créée en 2018, et basée à Berlin en Allemagne. Sehr erfreut! Grâce à leur add-on Chrome, vous pouvez construire directement depuis votre navigateur l’automatisation qu’il vous plaît, en sélectionnant avec votre souris les zones de texte à récupérer, et la façon dont vous passez à la page suivante.Disons le clairement ici: il s’agit du produit avec l’utilisation la plus fluide et la plus ludique du marché! Il suffit de télécharger l’add-on Chrome, vous rendre sur le site de SeLoger sur l’URL ciblé e.g. https://www.seloger.com/list.htm?projects=2&types=2,4,1,9,12,14,13,11,3,10. Ensuite cliquer sur les zones sur lesquelles on souhaite récupérer les données — là où se trouve le titre, le prix ou le type d’appartement. Et enfin préciser la façon dont vous souhaitez passer à la page suivante. Ici en cliquant sur le bouton suivant.

L’add-on propose par ailleurs des features additionnelles supplémentaires intéressantes, avec la possibilité, comme sur lobstr, de lancer l’automatisation à fréquence répétée, ou d’exporter les données directement vers une googlesheet.

En termes de prix, vous pourrez profiter d’un plan gratuit à vie, avec 2h de collecte gratuites. Et 30h de collecte par mois à partir de 15 USD par mois. Une solution qui est donc approximativement 2 fois plus chère que la solution précédente, mais intéressante pour de petits volumes de données.

Toutefois, à l’usage et de façon concrète, la solution ne fonctionne pas. La sélection des attributs est fastidieuse, imprécise et redondante. Et à notre grand désarroi, sur les 100 lignes de données que nous nous attendions à récupérer, seulement 2 lignes de données récupérés.

Par ailleurs, la solution ne contourne pas la bot mitigation du site. Après un certain temps d’usage, un captcha apparaît, et sauf erreur de ma part, il semble impossible de le résoudre de façon programmatique. C'est-à dire qu’il ne sera ni possible de programmer une collecte régulière, ni possible de collecter de la donnée at scale.

A qui s’adresse cet outil de scraping?

L’interface est très ludique! mais sans surprise avec ce type d’outil, il faut un peu de maîtrise pour pouvoir le paramétrer de façon précise, et obtenir des résultats consistants dans le temps. L’outil s'adresse donc à un head of Growth, à l’aise avec une interface low-code, avec quelques connaissances de code.

Définitivement pas à la portée du premier venu!

La documentation semble toutefois de bonne qualité, et prometteuse pour celui qui a du temps à y consacrer.

Pros:

1. UX très ludique
2. customisation infinie
3. 120 minutes par mois gratuitement
4. pricing accessible

Cons:

1. collecte incomplète
2. captcha non géré
3. récupération fastidieuse des attributs
4. documentation complexe

3. ScrapingBee

Scrapingbee.com est une société française, créée en 2019, et basée (elle aussi!) en France. Elle propose à ses utilisateurs une API de scraping, avec la promesse forte suivante: utiliser leur API et ne plus jamais être bloqué par un outil de bot mitigation. Avec la prise en charge des headers, des proxies, ou de l’activation javascript.SeLoger est pourtant particulièrement bien protégé, puisqu’il travaille avec Datadome, une société française spécialisée dans la bot-mitigation, comme nous l’avons décrit abondamment ici. La société se charge de détecter les visiteurs dits “indésirables”, c’est à dire les “robots” pour décrire ça grossièrement, et de les éliminer.

Nous allons voir si la solution tient ses promesses!

L’interface est vraiment superbe! Le ‘Request Builder’ a été particulièrement bien pensé, et permet de construire la requête de façon particulièrement simple et rapide. Et en cas de doute, on peut s’appuyer sur une documentation exhaustive et précise.

Du côté de l'UX, c'est à nouveau un grand plaisir. On va pouvoir générer du code dans toutes les langues, et de la possibilité de lancer le code en appuyant simplement sur un bouton.

Côté prix, vous disposez de 1000 crédits gratuits. Avec des prix OK: 100 000 crédits pour 50 USD, soit approx. 1500 pages de résultats par mois. 3 fois plus cher que lobstr, mais toutefois accessible. Par ailleurs, le nombre de crédits consommés par requête est clair, et pas de facturation en cas d’erreur. De ce côté-là, la promesse est tenue. You shall pass, or you shall not pay.

🧙‍♂️

Malheureusement, malgré nos multiples essais, la solution ne fonctionne pas. Nous avons bien sélectionné les options les plus furtives, afin de contourner la bot mitigation Datadome, mais le résultat reste le même: 500 failure!

@scrapingbee, si vous passez par là et que la solution fonctionne à nouveau, n’hésitez pas à nous solliciter pour qu’on puisse mettre à jour notre série de tests!

A qui s’adresse cet outil de scraping?

A un ou des développeurs! Qui ont envie de développer leur propre script de scraping, avec les avantages que ça comporte: flexibilité, rapidité d'intervention, propriété intellectuelle. Attention, il faut donc absolument s’y connaître en développement informatique.

A cette condition toutefois, et sous réserve que l’outil fonctionne à nouveau, il s’agit d’une jolie solution de scraping, claire, facile à utiliser et précisément documentée.

Pros:

1. UX très clair
2. documentation exhaustive
3. lancement facile
4. données bruts
5. 1000 crédits gratuits
6. 50 USD avec approx. 1500 pages de données

Cons:

1. ne fonctionne pas (!)
2. il faut savoir coder

Conclusion

Et voilà, la phase de test est terminée!

Au final, lobstr est la seule solution qui permette une collecte valide, exhaustive et compétitive. Les deux autres solutions semblent chacune intéressantes, avec des promesses fortes de souplesse et de flexibilité. Toutefois, à l’épreuve du réelle, aucune ne parvient à renvoyer des données précises et exhaustives, et ce de façon répétée dans le temps.

Un test unique n’est toutefois jamais suffisant pour s’assurer de la viabilité d’une solution. N’hésitez pas à tester également de votre côté, et à vous forger votre propre opinion!

En espérant que cet article vous aura donné des pistes utiles d’exploration.

Happy scraping!

🦀