Comment scraper Google News sans écrire une seule ligne de code
Shehriar Awan●
August 31, 2023
●
12 min read
Avec environ 400 millions de visiteurs mensuels, Google News a consolidé sa position en tant que 7e site d'actualités le plus visité aux États-Unis. Dans cet article, nous allons apprendre comment récupérer des données de Google News sans écrire une seule ligne de code. Que vous soyez un passionné de données, un chercheur ou simplement un fou de l'info, notre guide détaillé va vous permettre d'accéder facilement à Google News, dans toute sa richesse. Allons-y.
Pourquoi récupérer des données de Google News?
La récupération de données de Google News peut être un atout inestimable pour plein de monde, comme les créateurs de contenu, les marketeux, les journalistes, les chercheurs universitaires ou les analystes. Voici comment:
Créateurs de contenu 📝: La récupération de données de Google News fournit aux créateurs de contenu une multitude d'informations à jour et de sujets d'actualité. Cela les aide à rester pertinents et à rédiger des articles ou des billets de blog solides, étayés par des données et des informations fraiches, mises à disposition quasiment en temps réel.
Marketeux 📈: Pour les marketeux, la récupération de données de Google News offre des informations précieuses sur les tendances des consommateurs, l'analyse concurrentielle et l'évolution de l'industrie. Cela les aide à prendre des décisions éclairées et à identifier les nouvelles tendances émergentes.
Journalistes 📰: Les journalistes peuvent récupérer de la donnée depuis Google News pour rester au courant des dernières actualités partout dans le monde et fournir une couverture approfondie sur divers sujets.
Chercheurs universitaires 🎓: La récupération de données de Google News est un outil puissant. Cela facilite les études basées sur les données, la collecte de données d'actualités pour l'analyse et la compréhension des tendances sociétales, économiques ou politiques.
Analystes d'entreprise 💼: La récupération de données de Google News permet aux analystes d'entreprise de disposer d'une intelligence marché, de mises à jour sectorielles et de la surveillance de la concurrence. Cela permet des stratégies axées sur les données et une prise de décision éclairée pour la croissance de l'entreprise.
Comment récupérer des articles de Google News sans programmation?
Si vous en avez assez d'écrire un code compliqué pour récupérer des articles de Google News... ou si vous ne savez tout simplement pas coder (et c'est compliqué), cet article est fait pour vous. L'outil que l'on va découvrir ensemble est le suivant - Google News Search Export. Il permet de scraper des news depuis Google News, à forte intensité, sans dépenser un rond. Et sans écrire une seule ligne de code. Finie la galère.
Google News Search Export
Récupérez des articles de Google News de n'importe quel pays, dans n'importe quelle langue et sur n'importe quelle période, avec 6 attributs de données, sans écrire une seule ligne de code.
Principales fonctionnalités
Extraction de 6 attributs de données 📊: Collectez 6 attributs de données essentiels à partir des articles de Google News. Ces attributs comprennent le titre, la source, le lien vers l'article original, une description concise et informative, la date de publication et même l'URL de l'image.
Résultats ultra rapides ⚡️: Le temps c'est de l'argent, n'est-ce pas? Notre scraper est super rapide et peut récupérer jusqu'à 180 résultats par minute.
Personnalisable à l'envie 🔧: Nous vous mettons aux commandes. Vous pouvez personnaliser vos recherches en choisissant de récupérer les articles liés n'importe quel mot clé, écrits dans la langue de votre choix, publiés dans le pays de votre, et à la période de temps de votre choix. Obtenez précisément les actualités qui vous intéressent. Ni plus, ni moins.
Planifiez précisément votre récupération de données 🗓️: Pourquoi faire les choses manuellement quand vous pouvez les automatiser? Nous avons mis à votre disposition une fonction de planification simple. En deux cliques, paramétrer votre scraper pour récupérer les données à intervalles spécifiques. Tous les jours, 2 fois par semaines ou le 15 du mois. À votre convenance.
Tarification
Lobstr.io propose une gamme de plans tarifaires flexibles pour répondre aux différents besoins de collecte de données. Pour tester les capacités de notre produit, le plan gratuit à vie est une excellente option. Il vous permet de collecter jusqu'à 81 000 résultats par mois sans frais.
Si vous avez besoin d'ensembles de données plus importants et de capacités de récupération plus étendues, le plan premium est fait pour vous. Avec ce plan, vous pouvez profiter de jusqu'à 970 000 résultats par mois, au tarif de 0,05€ par 1000 résultats.
Et avec les plans au dessus, comme vous vous en doutez, c'est encore moins cher. Les prix les plus compétitifs du marché.
Guide étape par étape pour récupérer des données de Google News sans programmation
On va lancer notre scraper Google News et extraire des articles frais en 5 étapes très simples.
Étape 1: Créer un Squid
Tout d'abord, assurez-vous d'avoir un compte sur lobstr.io. Si vous avez déjà un compte, nice! Connectez-vous simplement. Sinon, inscrivez-vous sur le site - c'est rapide, facile et, bien entendu, totalement gratuit.
Une fois connecté à votre tableau de bord lobstr.io, vous verrez un bouton rouge "Create new Squid", cliquez dessus sans vous poser de question! Maintenant, dans la barre de recherche qui apparaît, saisissez "news" et sélectionnez "Google News Search Export". Voilà! - votre Squid a été officiellement créé. C'est aussi simple que ça.
Maintenant que votre Squid est prêt, passons à l'étape suivante.
Étape 2: Ajouter des Tasks
Maintenant vient la partie la plus amusante - ajouter des tâches à notre Squid. C'est ici que nous ajoutons nos mots-clés pour récupérer des articles depuis Google, liés à notre mot clé en question. En écrivant ce blog, je n'avais honnêtmeent aucune idée en tête, alors pour cet article, nous allons demander de l'aide à Google Trends. Nous allons rechercher des sujets d'actualité tendance dans le domaine des affaires aux États-Unis au cours des 30 derniers jours.
Utiliser Google Trends pour Trouver les Sujets Tendance
Commençons par ouvrir Google Trends et dirigeons-nous directement vers la section "Explorer". Vous pouvez y accéder facilement en tapant "Google Trends" dans votre moteur de recherche préféré. Une fois sur la page Explorer de Google Trends, il est temps d'affiner notre exploration.
Affinez les résultats en sélectionnant les 30 derniers jours comme période, les États-Unis comme emplacement, et concentrez-vous spécifiquement sur les Business News pour notre recherche. Assurez-vous de rechercher dans la catégorie "Recherche d'Actualités".
Google Trends vous présentera alors une liste de sujets et de requêtes de recherche qui ont fait sensation au cours des 30 derniers jours. Ce sont les sujets les plus chauds et les plus discutés. Parmi les résultats, un sujet particulier a peut-être attiré votre attention.
Pour notre exemple, disons que les "ESPN layoffs", c'est à dire, les licenciements chez ESPN, s'est démarqué comme la requête de recherche la plus en hausse au cours des 30 derniers jours - un sujet intriguant lié aux affaires.
Que voulez-vous la peur n'a jamais cessé de faire vendre.
Ajout de Tâches au Squid
Avec "ESPN layoffs" comme mot-clé choisi, passons à l'ajout de cette tâche à notre Squid. Copiez simplement le terme de recherche "ESPN layoffs" depuis Google Trends. Retournez sur votre tableau de bord lobstr.io, et dans votre Squid nouvellement créé, collez "ESPN layoffs" en tant que première tâche.
Maintenant, si vous souhaitez élargir votre recherche et collecter plus de données, n'hésitez pas à ajouter plusieurs tâches en utilisant différents mots-clés. Explorez d'autres sujets tendance de Google Trends et laissez votre Squid faire le reste!
Vous voulez optimiser votre collecte de données? Vous pouvez télécharger un fichier .txt, .csv ou .tsv plein de tâches, et le Squid récupérera tous les mots-clés en une seule exécution.
Passons à l'étape suivante et configurons notre scraper en fonction de nos besoins.
Étape 3: Paramètres et Notifications
Maintenant que nous avons ajouté nos tâches, il est temps de peaufiner les derniers paramètres de notre Squid et d'ajuster le système de notifications pour tirer le meilleur parti de l'outil. Vous pouvez personnaliser votre expérience de récupération de données avec des paramètres de base. Et des paramètres avancés.
Paramètres de Base:
- Résultats max: Vous avez le contrôle! Décidez du nombre d'articles d'actualités que vous souhaitez récupérer pour chaque tâche. Que ce soit une poignée ou tous les articles disponibles en ligne, choisissez le volume qu'il vous plaît.
Période de temps: Besoin d'actualités fraîches ou plutôt intéressé par les données historiques? Choisissez la période de temps souhaitée - que ce soit la dernière heure, les dernières 24 heures, la dernière semaine, la dernière année. Ou n'importe quelle période 🤷♀️
Choisissez le pays et la langue: Obtenez des résultats d'actualités publiés dans un pays donné ou dans une langue particulière. Sélectionnez vos préférences pour obtenir les résultats les plus pertinents.
- Quand mettre fin à l'exécution: Vous pouvez choisir quand arrêter la récupération de données. Vous avez ici de la flexibilité:
- Arrêter l'exécution une fois le crédit épuisé: Si vous souhaitez collecter les résultats de la même tâche quotidiennement, cette option est pour vous.
- Arrêter l'exécution une fois toutes les tâches consommées: Vous manquez de crédits mais avez beaucoup de tâches? Optez pour cette option, et l'exécution se mettra en pause jusqu'au lendemain. Toutes les données seront collectées en une seule prise.
Paramètres avancés
Définir la concurrency: Cette fonctionnalité est utile pour les utilisateurs des plans premium ou entreprise. Contrôlez le nombre de bots par run pour augmenter la vitesse de collecte.
Résultats uniques: Plus de doublons! Activez cette option, et votre fichier de résultats ne contiendra que des entrées uniques, facilitant ainsi l'analyse de vos données.
Pas de retour à la ligne: Organisez vos données comme un pro! En supprimant les retours à la ligne des champs de texte, vous aurez des données plus propres, ce qui facilitera leur traitement dans des feuilles Excel ou tout autre outil d'analyse de données.
Notifications
Restez informé de l'avancement de la récupération de données Google News avec des notifications par e-mail en temps réel. Vous pouvez choisir votre type de notification préféré, c'est-à-dire recevoir des notifications lorsqu'une exécution est réussie ou, plus chiant mais tout aussi utile à sa manière, recevoir des notifications lorsque le Squid rencontre une erreur.
Avec ces paramètres et notifications personnalisés, vous êtes prêt à collecter des données précieuses sans effort et de la manière la plus efficace qui soit. Passons maintenant à la dernière étape.
Étape 4: Planifier et Lancer
Maintenant que votre Squid est prêt avec des tâches et des paramètres personnalisés, il est temps de le lancer 🚀. Vous avez envie de vous plonger directement dans les données? Vous pouvez démarrer manuellement le processus de récupération de données en un seul clic. Pas d'attente, pas de retard - commencez à collecter des informations précieuses instantanément en cliquant sur le bouton "Save & Extract".
Planification pour une collecte automatisée et répétée
Cerise sur le cake - on va mettre en place une planification automatisée pour la collecte de données. Vous pouvez planifier votre Squid pour qu'il s'exécute de manière automatique et répétée à l'heure de votre choix, quotidiennement, hebdomadairement ou mensuellement.
Choisissez la fréquence à laquelle vous souhaitez que votre Squid s'exécute et collectez automatiquement des données fraîches. Sélectionnez l'heure exacte à laquelle vous souhaitez que l'exécution planifiée ait lieu. Alignez-la avec votre routine, afin de recevoir les données lorsque cela vous convient le mieux.
Prenons un exemple pour illustrer la puissance de la planification:
Imaginez que vous souhaitiez suivre toutes les actualités liées à l'iPhone qui ont été publiées au cours de la semaine passée. Suivez ces 3 étapes simples:
Ajoutez la tâche: Commencez par ajouter le mot-clé "iPhone" en tant que tâche à votre Squid.
Sélectionnez la période de temps: Ensuite, choisissez "la semaine passée" dans l'option de période de temps.
Planifiez le Squid: Et voilà le clou du spectacle - planifiez votre Squid pour qu'il s'exécute automatiquement chaque samedi à 16 heures.
C'est tout! Vous aurez une mise à jour hebdomadaire sur toutes les actualités de l'iPhone sans lever le petit doigt. Cliquez sur Enregistrer et laissez Lobstr.io faire le reste. Vous avez lancé votre Squid avec succès.
Étape 5: Profitez
Et voilà, nous avons réussi à récupérer des données de Google News sans écrire une seule ligne de code! Notre scraper a rapidement collecté 98 articles d'actualités liés à notre mot-clé choisi en seulement 30 secondes. Pour exploiter ces résultats, rendez-vous sur la page de console de Lobstr.io et cliquez sur l'onglet 'Résultats'.
Vous pouvez facilement télécharger les données collectées sous forme de fichier .csv. Cliquez simplement sur le bouton de téléchargement, et les données sont à vous.
Livraison
Pour tirer le meilleur parti de vos données, Lobstr.io propose diverses méthodes de livraison pour exporter vos résultats vers vos plateformes préférées. Profitez de ces options d'intégration simples et puissantes:
Google Sheets: Connectez directement vos résultats Lobstr.io à Google Sheets, et vos données seront automatiquement exportées sur la feuille de calcul en ligne.
Amazon S3: Si vous utilisez Amazon S3 pour le stockage, vous pouvez exporter facilement vos données vers votre compartiment S3 désigné pour un accès et une récupération faciles.
SFTP: Pour un transfert de données sécurisé et simple, utilisez SFTP pour exporter vos résultats vers un serveur distant ou un réseau.
Webhooks: Maximisez l'utilisation de vos données en configurant des Webhooks, permettant la livraison de données en temps réel à vos applications et systèmes préférés.
En cliquant sur le bouton 'Livraison' sur la page de console de Lobstr.io, vous aurez la possibilité de vous connecter à l'un de ces services de manière transparente.
Conclusion
En conclusion, notre scraper de données de Google News rend le scraping de Google News incroyablement facile, surtout pour ceux qui n'ont pas de compétences en programmation.
Avec son interface conviviale, n'importe qui peut extraire des données précieuses à une vitesse de croisière de 180 résultats par minute. La possibilité de personnaliser la langue, le pays et la période de temps assure une collecte de données efficace et précise.
Si vous cherchez à intensifier vos efforts de collecte de données, les plans premium et entreprise offrent encore plus de fonctionnalités et d'avantages. Mettez à niveau dès maintenant pour débloquer pleinement le potentiel de Google News Search Export et collecter des données à grande échelle. Au prix le plus compétitif du marché.
Shehriar Awan Head of Content (autoproclamé) @ lobstr.io. J'écris tous nos how-tos, nos listicles, et (ils le méritent) je trolle gentiment nos concurrents.
