3 meilleurs outils de scraping sur SeLoger en 2022

SeLoger est une source de données fantastique. Au 15/08/2022, le site recense un peu plus de 620 185 biens à la vente, partout en France, et pas moins de 97 873 biens à la location. Ce qui en fait un acteur incontournable du marché immobilier français.

Dans ce tutoriel, nous allons donc voir ensemble les 3 meilleurs outils pour faire du scraping sur SeLoger, avec 2 solutions sans code, et 1 solution à tester avec un développeur.

A nous les belles bâtisses!

🏡

Legal

Avant de rentrer dans le vif du sujet, une question revient souvent sur le devant de la scène: est-ce que c’est légal de faire du scraping sur SeLoger?

« l'Utilisateur s'interdit de procéder à :

l'extraction par transfert permanent ou temporaire de la totalité ou d'une partie qualitativement ou quantitativement substantielle du contenu d'une ou plusieurs des bases des données accessibles sur le Site Internet […] »

Et bien, comme le suggère le site, dans un jargon juridique qui n’est pas nécessairement accessible à tous, oui le scraping sur SeLoger est entièrement légal!

Et ce à deux conditions:

1. la récupération doit être non substantielle
2. l’utilisateur a accès aux données de façon “licite”

En d’autres termes, totalement légal de le faire, tant que vous ne récupérez pas la totalité du site, c’est à dire une partie dite “non substantielle”.

Attention, c’est en anglais. Crustacé et polyglotte.

1. Lobstr.io

🦀

Sans biais aucun (pince), il faut reconnaître que l’outil est particulièrement robuste.

Une fois la collecte lancée, l’interface communique abondamment, avec des indicateurs précis et nombreux: chronomètre, liste de résultats, statut de la collecte.

Pour chaque annonce, le scraper récupère 35 attributs distincts. Avec les attributs usuels: taille de l’appartement, prix, type de bien, code postal. Et l’ensemble des attributs avancés: photos, tags, URL de la visite virtuelle, téléphone de l’agence.

Par ailleurs, vous pouvez bénéficier, à vie, de 15 minutes d’extraction gratuite par jour. Ce qui représente, approx. 350 annonces récupérables par jour totalement gratuitement. Le premier plan commence à 20 EUR, avec 1h de collecte par jour soit 1500 annonces par jour, ce qui en fait la solution la plus compétitive du marché.

En plus de la collecte traditionnelle, vous pouvez paramétrer un lancement à heure régulière. Par exemple, lancer le scraper tous les jours de la semaine à 8h du matin. Et vous allez également pouvoir recevoir vos données de façon automatique: par mail, déposé sur un bucket s3, ou directement exporté sur une googlesheet de votre choix.

A qui s’adresse cet outil de scraping?

Lobstr.io s’adresse à l’utilisateur qui souhaite utiliser un outil no-code robuste et simple d’utilisation, ou au développeur/à la startup qui souhaite déployer une solution programmatique at scale directement via l’API.

Pros

1. UX ludique
2. 15 minutes gratuites chaque jour
3. 25 annonces par minutes
4. 35 attributs
5. collecte scalable
6. lancement régulier
7. export automatique
8. API dédiée

Cons

1. scraper non customisable

2. Axiom.ai

L’add-on propose par ailleurs des features additionnelles supplémentaires intéressantes, avec la possibilité, comme sur lobstr, de lancer l’automatisation à fréquence répétée, ou d’exporter les données directement vers une googlesheet.

En termes de prix, vous pourrez profiter d’un plan gratuit à vie, avec 2h de collecte gratuites. Et 30h de collecte par mois à partir de 15 USD par mois. Une solution qui est donc approximativement 2 fois plus chère que la solution précédente, mais intéressante pour de petits volumes de données.

Toutefois, à l’usage et de façon concrète, la solution ne fonctionne pas. La sélection des attributs est fastidieuse, imprécise et redondante. Et à notre grand désarroi, sur les 100 lignes de données que nous nous attendions à récupérer, seulement 2 lignes de données récupérés.

Par ailleurs, la solution ne contourne pas la bot mitigation du site. Après un certain temps d’usage, un captcha apparaît, et sauf erreur de ma part, il semble impossible de le résoudre de façon programmatique. C'est-à dire qu’il ne sera ni possible de programmer une collecte régulière, ni possible de collecter de la donnée at scale.

A qui s’adresse cet outil de scraping?

L’interface est très ludique! mais sans surprise avec ce type d’outil, il faut un peu de maîtrise pour pouvoir le paramétrer de façon précise, et obtenir des résultats consistants dans le temps. L’outil s'adresse donc à un head of Growth, à l’aise avec une interface low-code, avec quelques connaissances de code.

Définitivement pas à la portée du premier venu!

Pros:

1. UX très ludique
2. customisation infinie
3. 120 minutes par mois gratuitement
4. pricing accessible

Cons:

1. collecte incomplète
2. captcha non géré
3. récupération fastidieuse des attributs
4. documentation complexe

3. ScrapingBee

Nous allons voir si la solution tient ses promesses!

L’interface est vraiment superbe! Le ‘Request Builder’ a été particulièrement bien pensé, et permet de construire la requête de façon particulièrement simple et rapide. Et en cas de doute, on peut s’appuyer sur une documentation exhaustive et précise.

Du côté de l'UX, c'est à nouveau un grand plaisir. On va pouvoir générer du code dans toutes les langues, et de la possibilité de lancer le code en appuyant simplement sur un bouton.

Côté prix, vous disposez de 1000 crédits gratuits. Avec des prix OK: 100 000 crédits pour 50 USD, soit approx. 1500 pages de résultats par mois. 3 fois plus cher que lobstr, mais toutefois accessible. Par ailleurs, le nombre de crédits consommés par requête est clair, et pas de facturation en cas d’erreur. De ce côté-là, la promesse est tenue. You shall pass, or you shall not pay.

🧙‍♂️

@scrapingbee, si vous passez par là et que la solution fonctionne à nouveau, n’hésitez pas à nous solliciter pour qu’on puisse mettre à jour notre série de tests!

A qui s’adresse cet outil de scraping?

A un ou des développeurs! Qui ont envie de développer leur propre script de scraping, avec les avantages que ça comporte: flexibilité, rapidité d'intervention, propriété intellectuelle. Attention, il faut donc absolument s’y connaître en développement informatique.

A cette condition toutefois, et sous réserve que l’outil fonctionne à nouveau, il s’agit d’une jolie solution de scraping, claire, facile à utiliser et précisément documentée.

Pros:

1. UX très clair
2. documentation exhaustive
3. lancement facile
4. données bruts
5. 1000 crédits gratuits
6. 50 USD avec approx. 1500 pages de données

Cons:

1. ne fonctionne pas (!)
2. il faut savoir coder

Conclusion

Et voilà, la phase de test est terminée!

Au final, lobstr est la seule solution qui permette une collecte valide, exhaustive et compétitive. Les deux autres solutions semblent chacune intéressantes, avec des promesses fortes de souplesse et de flexibilité. Toutefois, à l’épreuve du réelle, aucune ne parvient à renvoyer des données précises et exhaustives, et ce de façon répétée dans le temps.

Un test unique n’est toutefois jamais suffisant pour s’assurer de la viabilité d’une solution. N’hésitez pas à tester également de votre côté, et à vous forger votre propre opinion!

En espérant que cet article vous aura donné des pistes utiles d’exploration.

Happy scraping!

🦀