Rechercher avec ChatGPT, Bard, Bing …

Rechercher avec ChatGPT est-il plus pertinent que rechercher avec Bard ? Comme tout le monde je me suis amusé à faire une comparaison entre ChatGPT et Bard (voir mon billet d’hier : recherche avec ChatGPT). Pour joindre l’utile à l’agréable, j’ai demandé aux deux outils de me faire une recherche sur les plateformes de veille professionnelles. C’est un domaine que je connais relativement bien pour avoir mené en 2013 un benchmarking des plateformes de veille et d’intelligence économique. Puis, pour avoir contribué, à l’initiative de Mathieu Andro, à un travail d’analyse des plateformes qui a donné lieu à des articles et à la mise en ligne d’un site dédié … Voyons ce que ChatGPT et Bard ont a dire sur le sujet.

Prompt

Rechercher avec ChatGPT (ou avec n’importe quelle solution d’intelligence artificielle) nécessite de maîtriser le prompt. Voici un texte qui respecte les étapes d’une interrogation efficace.

1. Tu oublies toutes les requêtes précédentes.
2. Tu es un analyste veille et intelligence économique dans une grande entreprise française.
3. Tu dois faire une étude sur l’utilisation des plateformes de veille professionnelles.
4. Tu vas classer les types de plateforme.
5. Tu vas mettre les résultats dans un tableau à plusieurs colonnes.
6. Toutes les données doivent être réelles. Il ne faut pas inventer de réponses.
7. Il faut au moins 10 entreprises.
8. Uniquement des entreprises françaises, dont le siège social est basé en France.
9. Dans la première colonne, indique le nom de l’entreprise qui commercialise la plateforme.
10. Dans la deuxième colonne, indique le nom de la plateforme commercialisée.
11. Dans la troisième colonne, indique la spécificité de la plateforme.
12. Dans la quatrième colonne, indique la date de création de l’entreprise. La donnée dans cette cellule est une date.
13. Dans la cinquième colonne, indique un prix moyen pour la plateforme de veille. La donnée dans cette cellule est un chiffre.
14. Dans la sixième colonne, indique un indice de satisfaction, basé sur des remontées clients, le nombre estimé de clients, une visibilité numérique de la plateforme de veille. La donnée dans cette cellule est un chiffre. Il est évident que ce chiffrage est difficile. Mais fais une estimation.

Rechercher avec ChatGPT

Voici les réponses de ChatGPT :
– 2 bonnes réponses : Digimind (cité deux fois) et Synthésio
– 2 plateformes non françaises : Meltwater et Talkwaker.
– 5 hors sujet :
Netvibes est un agrégateur de flux RSS, pas vraiment une plateforme de veille.
Echobot est un outil de prospection commerciale
Webdrone est une solution d’enquête en ligne
Qwantify semble être le crawler de Qwant
Thyga semble être une boite de consulting

Résultats

Au cas où cela vous intéresserait, voici les résultats in-extenso :

Entreprise Plateforme Spécificité Date de création Prix moyen (€/an)
Indice de satisfaction
Digimind Digimind Veille concurrentielle et sociale avancée 1998 20 000 8.5
Meltwater Meltwater Veille des médias et analyse de la réputation en ligne 2001 15 000 8.2
Talkwalker Talkwalker Veille des médias sociaux et analyse des données 2009 18 000 8.0
Synthesio Synthesio Veille des médias sociaux et analyse des données 2006 16 000 7.8
Netvibes Netvibes Veille personnalisée et tableau de bord intelligent 2005 10 000 7.6
Echobot Echobot Veille commerciale et analyse de la relation client 2016 13 000 7.9
Webdrone Webdrone Veille des contenus web et détection des fraudes en ligne 2012 11 000 7.7
Qwantify Qwantify Veille des moteurs de recherche et analyse de la visibilité en ligne 2015 9 000 7.5
Thiga Thiga Veille technologique et analyse des tendances du marché 2013 12 000 7.4
Digimind Social Listening Digimind Social Listening Veille des médias sociaux et analyse des sentiments 2000 17 000 8.1

Rechercher avec Bing

Voici les réponses de Bing :
– 6 bonnes réponses : AMI (ChapsVision), Digimind, KB Crawl, MyTwip, SindUp, Visibrain
– 3 plateformes non françaises : Brandwatch, Maltwater, Talkwater
– 0 hors sujet :

Bing se débrouille donc franchement mieux sur cette question. Comme vous le savez, il n’a pas la limitation de ChatGPT 3.5 d’avoir un corpus daté d’avant septembre 2021. Bing présente en prime les sources utilisées : bases-netsources.fr, journaldunet.com, meltwater.com.

Rechercher avec ChatGPT sur Google Sheets

Voici les réponses de ChatGPT sur Google Sheets (mon billet d’hier montre une méthode pour rechercher avec ChatGPT dans un Google Sheets) :
– 2 bonnes réponses : Mention, Synthesio,
– 2 plateformes non françaises : Brandwatch, Talkwater
– 6 hors sujet : Google, Netvibes et Feedly (agrégateur de flux RSS), Buzzsumo est un outil d’analyse de contenus, Boardreader, Yahoo.

L’intérêt de faire des requêtes directement dans Google Sheets est que l’on peut ensuite faire des graphiques. J’en montrerai un exemple dans mon prochain billet.

Rechercher avec Bard

Pour pouvoir utiliser Bard qui n’est pas encore ouvert en Europe, j’ai d’abord branché mon VPN et choisi une IP américaine. Puis, j’ai traduit le prompt avec Google translate :

1. You forget all the previous requests.
2. You are a monitoring and economic intelligence analyst in a large French company.
3. You have to do a study on the use of professional monitoring platforms.
4. You are going to classify me the types of platform.
5. You are going to put the results in a multi-column table.
6. All data must be real. You don’t have to invent answers.
7. You need at least 10 companies.
8. Only French companies, whose head office is based in France.
9. In the first column, indicate the name of the company that markets the platform.
10. In the second column, indicate the name of the marketed platform.
11. In the third column, indicates the specificity of the platform.
12. In the fourth column, indicate the date of creation of the company. The data in this cell is a date.
13. In the fifth column, indicate an average price for the monitoring platform. The data in this cell is a number.
14. In the sixth column, indicates a satisfaction index, based on customer feedback, the estimated number of customers, digital visibility of the monitoring platform. The data in this cell is a number. It is obvious that this quantification is difficult. But make an estimate.

Voici les réponses de Bard :
– 1 bonne réponse : Mention, ,
– 2 plateformes non françaises : Brandwatch, Talkwalker
– 6 hors sujet : Athena Intelligence, Netvibes, Situational Awareness, WebMeUp, Sprinklr et Zoho sont des CRM.

Cartographie des résultats de Bing

Bing a produit les résultats le plus pertinents. J’en ai tiré la cartographie ci-dessus (en haut de l’article). Pour une meilleure visualisation, j’ai introduit les données de ChatGPT pour le calcul de l’indice de satisfaction.

– Axe horizontal : date de création
– Axe vertical : indice de satisfaction (issu de ChatGPT)
– Taille de la bulle : tarification en coût par mois en milliers d’euros

Alors, finalement que conclure de ces recherches dans ces différentes IA

Sur cette petite étude, rechercher avec ChatGPT s’est révélé moins pertinent que rechercher avec Bing. Mais cette étude est sans prétention, et n’a pas valeur d’exemplarité.
En revanche, on peut statuer que rechercher dans des intelligences artificielles demande un véritable retraitement des résultats. Toutes les analyses convergent : l’intelligence artificielle demande à être contrôlée. Et ce contrôle est d’autant plus efficace que l’on est expert du sujet recherché. D’où l’importance de s’y mettre ! Petite pub pour finir vers deux de mes formations sur les outils de recherche et de veille :
C1 – Formation rechercher et veiller sur Internet.
C2 – Formation rechercher avec Google.

Et la conférence du Club IES sur le thème : L’impact de l’intelligence artificielle sur les métiers de la veille.

Jérôme Bondu