Bref, j’ai testé l’IA (ou comment l’IA peut-être utile – ou non – à la recherche historique : étude de cas)

Nous avons pour habitude dans notre recherche de nous appuyer, autant que faire se peut, sur les nouvelles technologies pour proposer de la cartographie, des reconstitutions 3D ou simplement réaliser des bases de données.
Difficile en 2025 de passer à côté de l’intelligence artificielle. Nous avons ainsi pu tester Transkribus, très utile pour transcrire des archives dactylographiées ou manuscrites. Mais la nécessité de s’abonner nous a, pour le moment freiné. Au vu de nombreux articles ayant été écrits sur ce qu’implique l’IA pour la recherche scientifique, notamment en archéologie et en histoire nous avons quand même décidé de tester d’autres applications à nos propres travaux.
En pleine rédaction d’un projet de recherche, exercice complexe, mais avec une structure relativement stricte, il nous a semblé instructif de vérifier par nous-mêmes ce que l’IA pouvait nous apporter. Nous avons utilisé ChatGPT, en version gratuite (mais en étant logué), en l’utilisant parfois avec le raisonnement, parfois en simple recherche. Le modèle était automatiquement en GPT-4o.
Nous vous livrons ici nos conclusions. Bien qu’il ne s’agisse que de quelques petits exercices, ils peuvent déjà vous montrer en quoi l’IA peut-être utile mais aussi quelles sont ses défauts.
1er exercice : le résumé
Dans un premier temps, nous avons simplement demandé à ChatGPT de réaliser un résumé. Il s’agissait de passer d’un document de 15 pages, écrit par nos soins, à 5 pages.
Points positifs
Sur le fonds, l’analyse est surprenante. La capacité d’analyse de l’IA est très convaincante et la reformulation est souvent bienvenue dans le sens où elle diversifie le style d’écriture. Elle peut aussi mettre en exergue des points pas ou trop peu développés voire fournir quelques pistes supplémentaires.
Toutefois, il faut s’y reprendre à plusieurs fois avant d’obtenir un document correspondant à nos attentes. Dans notre cas, il aura fallu pas moins de vingt versions pour que toutes les notions importantes soient présentes dans le résumé.
Points négatifs
Sur la forme
Il faut copier-coller le résultat dans un document texte pour en faire la mise en page. De plus, les notes de pages sont inexistantes dans le résultat. Toutefois, cela n’est pas vraiment une surprise.
L’écueil principal réside dans le fait que l’IA n’a pas vraiment la notion de pages. Il faut privilégier une requête en nombre de caractères. Et là encore, les résultats sont très aléatoires, une demande formulée pour 20 000 caractères s’avérant donner un résultat de 8 000 caractères. Il convient donc de réaliser plusieurs essais pour arriver à quelque chose de probant.
Il ne faut pas non plus hésiter à lui donner comme instruction de respecter un plan précis (en listant les différentes parties) sinon elle pourra d’elle-même établir un nouveau plan.
Sur le fond
La relecture est indispensable, car l’IA peut se tromper.
Par exemple, elle propose : « Durant la guerre, une évasion est souvent perçue comme un acte de désertion ou de trahison, justifiant des sanctions sévères. Toutefois, dans l’après-guerre, la relecture des faits conduit à une réhabilitation de l’image du prisonnier, qui est alors valorisé comme symbole de courage et de résistance. » Sauf qu’à aucun moment le document de base ne parle d’une perception dégradante de l’évasion, ni en termes de désertion ni de trahison. Il s’agit là, d’une simple invention de l’IA.
Pire encore, elle fait appel à des idées préconçues. Ainsi décrit-elle les Français comme brave et tenant à leur honneur, les Britanniques comme des « gentlemen » à « l’humour froid » alors que les Allemands font preuve, d’après elle, « d’une grande rigueur organisationnelle ». Cela met en lumière la limite de son apprentissage et plus encore son manque de recul. Il est donc capital d’être particulièrement attentif lors des relectures.
S’il s’agit de faire faire un résumé d’un document que vous ne connaissez pas, nous ne pouvons que vous inviter à vérifier certains éléments, surtout si vous comptez vous en inspirez pour votre recherche. Le plus délicat reste encore la citation.
2e exercice : rechercher une citation
Qui n’a pas en tête une citation qu’il aimerait intégrer à son étude, mais dont il ne se souvient plus de qui elle est ou dans quel ouvrage elle apparaît ? Confrontés à cette problématique, nous avons donc tenté une requête auprès de l’IA.
À la requête : « Peux-tu me trouver la citation expliquant qu’en recherche académique, il faut s’éloigner de son sujet pour mieux le voir ? C’est une métaphore à un feu incandescent dont il faut s’éloigner. » l’IA répond ceci :

Ayant justement sous la main l’ouvrage en question, nous lui demandons donc de nous préciser la page, information donnée par ChatGPT :

Problème : impossible de trouver la citation ni le chapitre intitulé « Analyse. Explication. Compréhension. ». Après lui avoir demandé pour trois éditions différentes, la réponse est toujours la même, seule la pagination varie de la page 100, 103 à 130.
Nous finissons donc par lui demander de vérifier. Ce à quoi l’IA répond qu’après « une vérification approfondie, il apparaît que la citation […] n’ait pas attribuée à Marc Bloch ». Impossible bien entendu de trouver une quelconque référence à cette citation dans d’autres versions du livre de Marc Bloch et encore moins sur Internet. Il s’agit donc vraisemblablement d’une simple invention de l’IA.
3e exercice : la bibliographie
Tous ceux qui font un état de l’art le savent : faire une bibliographie peut parfois être compliqué par des variations dans le champ lexical employé. Là encore, l’IA peut théoriquement être d’un grand secours.
Sur ce point, ChatGPT nous a surpris, à la fois agréablement et désagréablement.
Points positifs
Pour notre étude, lors d’une recherche dans le SUDOC ou le WorldCat il faut effectuer plusieurs recherches rien que pour spécifier la période : WWI, Fist World War, Great War,… et cela dans différentes langues au risque de s’y perdre.
ChatGPT élargit suffisamment le champ lexical pour être capable d’apporter de nouvelles références en quelques secondes. Dans notre cas, par exemple, nous avons notamment appris l’existence de l’article de Simon P. MacKenzie, The Ethics of Escape : British Officer POWs in the First World War War in History ou encore l’ouvrage (en russe) d’Oksana Nagornaya, Drugoy voyennyy opyt: rossiyskiye voyennoplennyye Pervoy mirovoy voyny v Germanii (1914-1922).
Points négatifs
Comme toujours, il faut rester méfiant.
Tout d’abord, l’IA fait quelques erreurs comme dans ici ou dans cette référence bibliographique (cf figure ci-dessous). L’auteur ne se prénomme pas Ariel, mais Alon.

Mais le plus grave n’est pas là. À plusieurs reprises ChatGPT nous a proposé des ouvrages inexistants, comme le montre cette liste.

Il faut donc lui préciser que nous désirons une bibliographie existante, ce qui est pour le moins contre-intuitif.
Même en lui fournissant l’identité d’un auteur, l’IA peut ne pas trouver un ouvrage. Il faut alors lui en donner le titre comme le montre cet exemple avec Nathan Greenfield qui d’après ChatGPT n’a écrit que sur les prisonniers de la Seconde Guerre. Une fois corrigée, l’IA propose finalement un bref résumé du livre.

Toutefois, la situation la plus dérangeante scientifiquement est que l’IA est capable d’inventer un livre de toute pièce en fournissant son auteur, sa date d’édition et en en proposant même un résumé. Partant de plusieurs extraits d’un ouvrage, nous désirions que ChatGPT nous aide à le retrouver. Nous avons par exemple un chapitre 7 intitulé “Wounded and Sick Prisoners”. Après plusieurs essais infructueux et notre apport de précisions, il finit par nous affirmer que ce chapitre existe dans “Surviving the Great War: Australian Prisoners of War on the Western Front, 1916–18” alors qu’en réalité ce chapitre est intitulé « Hun haunted? Repatriation, home and afterwards » et qu’en fait aucun chapitre ne porte le titre recherché.

Pour finir, après avoir fournit plusieurs extraits du livre recherché voici ce que ChatGPT répond :

Il invente donc une référence, citant même des personnages dans son résumé !
Conclusion
Le bilan de cette petite expérience est qu’en l’état l’IA est un outil, certes puissant, mais dont il faut aussi se méfier. Ainsi apporte-t-elle de nombreux avantages pour la reformulation notamment ou encore dans la recherche de bibliographie. Toutefois, même si une de ses réponses semble cohérente, il convient de la vérifier.
Par exemple, nous lui avons demandé d’établir une biographie à partir du site https://davye.fr (en précisant les pages à utiliser, notamment Publications, Communications ainsi que Bourse et distinction). Le début de sa proposition est cohérent mais la dernière phrase démontre, une fois de plus, sa capacité d’invention. Le site en question ne fait pas mention de l’obtention de l’Ordre national du Mérite1 mais d’un prix de l’EHESS !

À notre avis, il faut, pour le moment, considérer l’IA comme un outil de brainstorming : servant « avant tout à faire émerger l’innovation grâce à la mise en commun des idées originales de plusieurs personnes. Parmi les règles de ce type de séance, on trouve notamment l’absence de limites. Chacun est encouragé à se montrer le plus créatif et ouvert d’esprit possible, sans restriction aucune2 ». En la matière, l’IA est très créative, ce qui peut s’avérer enrichissant comme dangereux. À manipuler avec précaution donc.
- dont je ne suis pas récipiendaire [↩]
- https://blog.hubspot.fr/marketing/outil-collaboratif [↩]
OpenEdition vous propose de citer ce billet de la manière suivante :
Davye Cesbron (14 mars 2025). Bref, j’ai testé l’IA (ou comment l’IA peut-être utile – ou non – à la recherche historique : étude de cas). Prisonniers durant la Grande Guerre (1914-1918). Consulté le 21 avril 2025 à l’adresse https://doi.org/10.58079/13h3p