Blog

Arrêtez de copier le net. Scrapez le.

coinmarketcap-scraping-16dkk2u

Comment scraper les valeurs de cryptomonnaie sur Coinmarketcap.com avec Python 3 et Request

En 2009, un développeur (ou un groupe de développeurs) de logiciels qui utilise le pseudonyme de Satoshi Nakamoto, crée le Bitcoin. Alors que la crise financière a éclaté un an plus tôt, cette technologie permet de réaliser des transactions entre pairs, et chaque transaction est inscrit collectivement au sein d’un bloc de données, dans un…
Lire la suite

Comment scraper les ASIN sur Amazon.fr avec Python 3 et Requests

Afin d’identifier ses produits, Amazon utilise un ASIN, ou, le bien nommé, Amazon Standard Identification Number. Pour publier un produit, un vendeur a besoin de ce numéro, qui une fois mis sur la base de donnée, permet de publier facilement et rapidement un produit disponible en stock. Aujourd’hui, nous allons voir comment collecter tous les…
Lire la suite

Quel est l’état du marché immobilier Français à partir des données Leboncoin.fr (Juin 2018)

Le marché immobilier français est vaste, et complexe. On y trouve de tout : des bureaux, des caves, des entrepôts, des chambres chez l’habitant, des colocations, des bureaux en open space, des boxs, et… de simples appartements. Sur leboncoin.fr, que l’on estime relativement représentatif de l’ensemble des données françaises, nous comptons au 10/06/2018, 1 533…
Lire la suite

Comment utiliser des adresses IP tournantes et des proxies avec Python 3

Lorsque vous collectez des données depuis le net, vous allez rencontrer un problème récurrent et quelque peu embêtant : les sites web peuvent bloquer votre adresse IP, et vous empêcher d’accéder aux données souhaitées. Il y a toutefois de nombreuses méthodes qui permettent de contourner ce blocage, que nous allons vous révéler, en toute amitié…
Lire la suite

lequipe_scraping_frontpic

Comment scraper la liste de tous les matchs de la Coupe du Monde 2018 sur l’Equipe avec Python et Selenium

La coupe du monde approche. Avec elle, les soirées arrosées de la fin de l’été, les stars mondiales ovationnées, les frappes de Cristiano Ronaldo ou du terrible Paul Pogba, et la ferveur de tout un pays, qui, rivé devant son écran de télévision, accompagne chaque sprint d’un cri d’espoir enflammé. Mais comment avoir facilement accès…
Lire la suite

web scraping senscritique lobstr

Comment scraper la liste des 100 meilleurs livres au monde sur SensCritique avec Python et Selenium

Choisir un livre : voilà une tâche difficile pour tout un chacun. Il faut choisir un livre qui ne soit ni trop gros, ni trop long, ni trop complexe, quoi que stimulant intellectuellement. Il faut choisir un auteur de talent, mais pas non plus un savant rebutant. Heureusement, des sites de partage de critiques en…
Lire la suite

Les quatre meilleurs outils de Web Scraping totalement gratuits en 2018

Les outils de Web Scraping permettent d’automatiser la collecte de données sur Internet. Pour la plupart, et bien que leur portée soit limitée, ils sont accessibles en libre-service, et peuvent être tout simplement utilisés depuis le navigateur de votre ordinateur (Chrome ou Firefox). Si la taille des données dont vous avez besoin est limitée, ou…
Lire la suite

Comment scraper les profils des Chief Happiness Officer de Paris sur Linkedin avec Python et Selenium

Les Chief Happiness Officer, ou les M. et Mme. Bonheur du bureau, fleurissent dans le monde. Et pour cause : d’après le Huffington Post, dans un article publié le 22/03/2014, il existe une nette corrélation entre l’épanouissement affectif éprouvé au bureau, et la productivité au travail. M. Bonheur au service de M. Performance, voilà la belle…
Lire la suite

Comment scraper toutes les annonces de chalets en Savoie sur Leboncoin avec Python 3 et Scrapy

Pendant que nous écrivons cet article, le froid s’est abattu sur la France toute entière, sous l’effet d’un mystérieux canal Moscou-Paris. Il est peut-être temps de soigner le mal par le mal, et de se rendre aux sports d’hiver, en Savoie ! terre de ski alpin et de repas ultra-caloriques. Dans cet article nous allons…
Lire la suite

Le webscraping, c’est légal en 2018 ?

Le webscraping est collecte de données automatisée, via des robots d’indexation. Les données sont ensuite utilisées par un acteur qui diffère, soit pour les analyser après extraction, soit pour les stocker sur des sites web dédiés (API) et les commercialiser. N’est-ce pas du vol, de prendre toutes ces données ? HiQ vs. Linkedin Comme souvent…
Lire la suite