Préface#
Prédire l’avenir – depuis la fortune et le malheur jusqu’au sort de l’humanité – est l’un des grands défis de la civilisation humaine depuis l’Antiquité. Les grands modèles linguistiques (LLM) nous offrent désormais un aperçu d’espoir pour résoudre ce problème.
Cet article explore l’utilisation des LLM comme dernier outil, avec Dream of the Red Chamber (紅樓夢) servant de bac à sable, pour trouver des méthodes permettant de prédire les quarante derniers chapitres perdus du roman.
Permettez-moi de le dire d’emblée : je n’ai pas réussi. Peut-être qu’un jour, lorsque quelqu’un le fera, cet article apparaîtra dans ses résultats de recherche.
Cette pièce est davantage une méditation sur la nature du texte lui-même. Même si le texte n’a pas la précision des formules physiques,
en tant qu’outil permettant à l’humanité de saisir la réalité et de spéculer sur l’avenir, il est bien plus important que nous ne l’imaginons.
Le texte n’est pas simplement une réalité « imaginée » – il n’est pas intrinsèquement subjectif. Cela reflète simplement la réalité objective de la manière la plus rentable possible.
Et les LLM, en tant que mécanismes automatisés de prédiction de texte, réduiront radicalement le coût d’extraction, de génération et de mise en miroir de la réalité objective.
La dernière implémentation sera mise à jour dans l’application iOS : Dream of the Red Chamber Simulator.
APPLICATION : Lien
Les trois grands regrets de la vie : premièrement, que l’alose ait trop d’os ; deuxièmement, que la fleur du pommetier n’a aucun parfum ; troisièmement, ce Rêve de la Chambre Rouge n’a jamais été terminé.
—Eileen Chang (張愛玲)
Modèles célestes : plus qu’une simple prédiction de mots#
Prédire l’avenir a toujours été une question de grande importance dans les sociétés humaines. Chaque civilisation ancienne avait des prêtres ou des fonctionnaires chargés d’observer les étoiles.
Les systèmes de symboles tels que l’astronomie et l’hydrologie textualisaient les phénomènes naturels et les lois physiques. L’exemple le plus typique est le système de coordonnées de latitude et de longitude : le texte est devenu un outil crucial permettant à l’humanité de comprendre et d’influencer le monde objectif.
La puissance pratique de cette cartographie entre texte et réalité a été validée au cours de ces dernières années de capacité explosive du LLM.
Dans le passé, le langage en tant qu’outil n’était pas suffisamment déterministe. Après la révolution industrielle, lorsque la science est devenue le principal moteur de productivité, la langue a été perpétuellement reléguée au bas de la hiérarchie du prestige.
L’ère des LLM a finalement amené la digestion et la production de texte dans le domaine de la milliseconde, le libérant des goulots d’étranglement liés à la vitesse de lecture humaine, à la vitesse de frappe et aux erreurs typographiques.
Un travail qui consommait autrefois énormément d’énergie mentale et de temps a désormais le potentiel d’être assemblé et configuré comme une chaîne de production.
Mais que produit cette chaîne de production ? L’essence d’un LLM est de « prédire » le prochain jeton. Est-ce réellement productif ? Le modèle « comprend-il » en quelque sorte ce qu’il dit ?
Ilya Sutskever (ancien co-fondateur et scientifique en chef d’OpenAI) a donné un jour cet exemple :
Supposons que vous lisiez un roman policier et qu’à la dernière page, le détective dit “Je vais révéler l’identité du criminel, et le nom de cette personne est…”
Si un LLM peut deviner de manière cohérente et correcte l’identité du coupable, alors nous pouvons provisoirement dire qu’il « comprend » le roman – surpassant au moins les nombreux lecteurs qui se sont trompés.
Et nous devons bien apprécier ce que signifie « compréhension ». Comprendre sert en fin de compte à prédire l’avenir. Toutes les civilisations anciennes, sans exception, étudiaient l’astronomie et l’hydrologie.
précisément pour prévoir les modèles climatiques à venir, les changements du cours des rivières, les sécheresses et les inondations – pour mieux survivre dans l’environnement objectif.
On pourrait même affirmer que prévoir correctement est plus important que comprendre.
Les sciences humaines : les personnes et les agents restent des boîtes noires#
Prédire l’avenir est la quête et la condition préalable (reproductibilité) des sciences naturelles, et le Saint Graal des sciences sociales.
Certes, cela ressemble à de la science-fiction. Dans la série Foundation d’Isaac Asimov, une telle discipline permettant de prédire l’avenir a été romancée sous le nom de « psychohistoire » (心理史學).
Économistes, historiens, psychologues, spécialistes des sciences sociales : tous veulent savoir comment les individus et les sociétés réagiront à des événements spécifiques.
La finance, en particulier, est probablement le domaine en dehors des logiciels où l’IA est appliquée de la manière la plus agressive.
Même si nous ne pouvons pas encore voir la ligne d’arrivée, la faisabilité de cette entreprise s’est considérablement améliorée.
L’amélioration – et sa limite – est que nous disposons désormais d’une boîte noire remarquable (l’agent LLM).
Pour des tâches d’un niveau comparable à la performance humaine, il est incroyablement rapide et extrêmement bon marché, ce qui le rend approprié pour remplacer le travail humain.
La limitation est que son mode d’utilisation actuel ressemble à une machine à sous. Nous pouvons utiliser certaines techniques (ingénierie d’invite/de contexte) pour améliorer le taux de réussite, mais c’est tout.
Nous avons du mal à ouvrir la boîte noire. L’enchaînement de plusieurs boîtes noires (multi-agents) n’apporte qu’une amélioration limitée.
Actuellement, les tâches qu’un seul agent peut gérer sont effectuées rapidement et correctement, mais les tâches plus abstraites sont difficiles à améliorer de manière linéaire.
Appliqué aux sciences sociales : un seul agent ne peut pas simuler de manière adéquate la mémoire et les émotions d’un individu, et encore moins des systèmes multi-agents simulant une communauté entière.
Du côté optimiste, cela ressemble davantage à un problème de performances – et les performances dans ce paradigme continueront de s’améliorer.
Le bac à sable : ne visez pas une tuerie en un seul coup#
Puisqu’il s’agit d’une boîte noire, l’approche intuitive consiste à trouver une boîte plus petite pour tenter de la casser.
Supposons que la capacité actuelle du modèle de base soit celle décrite précédemment : lancez n’importe quel roman policier dans la machine à sous LLM, et il pourra directement (en un seul coup) et correctement indiquer qui est le coupable.
En nous appuyant sur cette base de référence, si nous déployons des efforts supplémentaires – ériger des échafaudages, faire des allers-retours avec le LLM dans les discussions, trouver des moyens d’accumuler linéairement les résultats à travers chaque échange – nous devrions théoriquement être en mesure de faire des prédictions d’une difficulté plus élevée.
Dream of the Red Chamber est la cible idéale. Sur la base du contenu des quatre-vingts premiers chapitres, nous demandons au modèle de prédire, dans une certaine mesure, les quarante derniers chapitres.
Cette prédiction est extrêmement difficile, mais elle correspond parfaitement à mes objectifs de travail. Théoriquement, la probabilité n’est pas nulle ; en pratique, c’est hautement improbable. Cela en fait une référence idéale pour observer la croissance des capacités LLM au cours des années à venir.
Ayant écrit jusqu’ici, je peux enfin articuler deux objectifs de travail :
- Comment pouvons-nous déployer des efforts supplémentaires pour que les réponses inaccessibles grâce à des incitations ponctuelles puissent être progressivement abordées ?
- Comment devrions-nous choisir notre champ de bataille pour que nos résultats ne soient pas immédiatement rendus obsolètes par des modèles plus puissants – et idéalement, pour que notre cadre bénéficie également lorsque les futurs modèles s’améliorent ?
Ci-dessous, je commence à considérer les méthodes de recherche basées sur les caractéristiques du Dream of the Red Chamber et des LLM.
Hypothèses#
Nous supposons que la fin du Dream of the Red Chamber a existé autrefois, et que les quatre-vingts premiers chapitres et la conclusion qui a suivi ont été écrits comme un travail organique, intentionnel et continu – présentant la même cohérence interne trouvée dans les quatre-vingts premiers chapitres eux-mêmes.
Si la fin n’a jamais réellement existé, la difficulté de prédiction est encore plus grande – se rapprochant de la prédiction d’un univers parallèle. La question devient : si Cao Xueqin avait écrit la fin, quelle aurait-elle nécessairement été ?
Ce mot « nécessairement » est le point crucial. Il faut atteindre ce niveau de confiance pour générer quelque chose à partir de rien pour avoir du sens.
L’écriture de Le Rêve de la Chambre Rouge#
Le roman a été composé vers les années 1750. À cette époque, il circulait principalement entre amis et parents. Ce n’est qu’en 1791, lorsque Cheng Weiyuan le publia à l’aide de caractères mobiles en bois, qu’il devint largement connu.
Redologie et recherche assistée par l’IA#
Wang Guowei et Hu Shi ont été des pionniers de la Redologie (紅學 — l’étude scientifique du Rêve de la Chambre Rouge). Le domaine a continué à se développer et a évolué ces dernières années vers la vulgarisation et le divertissement. L’attention portée à l’archéologie textuelle (探佚學) et au manuscrit controversé de Guiyou (癸酉本) reflète la curiosité du public pour la fin.
Les principales réalisations de recherche intégrant les dernières technologies comprennent :
- L’apprentissage automatique confirme une fois de plus que les quarante derniers chapitres n’ont pas été écrits par l’auteur original
- Utiliser des LLM pour une vectorisation sémantique plus nuancée du texte (Word Embedding)
- Utiliser des LLM pour créer des graphiques de connaissances spécifiques à un domaine
- Modèles formés spécifiquement sur les quatre-vingts premiers chapitres et les textes historiques de la dynastie Qing comme données d’entrée
Caractéristiques du LLM#
La caractéristique LLM la plus pertinente pour cette tâche est la suivante : il a été formé sur toutes les données disponibles sur Internet, ainsi que sur tous les matériaux précieux que ces laboratoires d’IA de pointe ont pu obtenir.
Pour les informations déjà contenues dans ses données d’entraînement, la capacité prédictive et la tendance du modèle sont très élevées. Par exemple, si vous saisissez un passage de Harry Potter, il peut réciter les paragraphes suivants de mémoire.
Mais les quarante derniers chapitres du Rêve de la Chambre Rouge ne furent jamais transmis à la postérité. Ils ne figurent pas dans les données d’entraînement du modèle. Il ne peut pas les réciter.
Problème 1 : limites de la fenêtre contextuelle#
Pouvons-nous simplement saisir les chapitres un à quatre-vingts et demander au LLM de produire les quarante restants ?
Côté entrée, les modèles haut de gamme actuels (Gemini 3.1 / GPT-5.4 / Opus 4.6) utilisant le mode API peuvent prendre en charge jusqu’à 1 million de jetons, ce qui est suffisant.
Cependant, dans le paradigme actuel, la fenêtre du jeton de sortie est bien plus petite que celle de l’entrée. La sortie est limitée à environ quatre à huit mille caractères chinois au maximum, soit environ l’équivalent d’un chapitre de contenu.
Problème 2 : Prose apathique et dégradation de la qualité#
Et si nous modifiions l’invite pour demander au LLM de produire uniquement le contenu du chapitre quatre-vingt-un ?
Le modèle est « contaminé » par la saisie massive de texte. Son style d’écriture ressemble beaucoup à celui de Cao Xueqin, et il peut raisonnablement continuer l’intrigue connue – mais le résultat se lit comme une chronique plate d’événements.
Puis, en répétant le processus pour les chapitres quatre-vingt-deux, quatre-vingt-trois, etc., la qualité chute précipitamment.
Problème 3 : Contamination préalable dans le modèle#
Un autre problème est que pendant la formation, le modèle a déjà vu la suite de Gao E (高鶚續書), diverses spéculations scientifiques et d’autres sources secondaires. Si ces matériaux s’écartent de la fin originale, le résultat sera biaisé.
À suivre#
En raison de la longueur de cette pièce, je terminerai ici par un aperçu de ce qui va suivre.
Nous ne pouvons pas simplement laisser le LLM produire directement des informations inconnues.
Nous avons donc encore besoin de méthodes plus traditionnelles, mécaniques ou programmatiques.
La bonne nouvelle est la suivante : pour les chercheurs infatigables en littérature, en histoire et en philosophie, nous avons désormais un tracteur pour le terrain !
Dream of the Red Chamber possède une nature très structurée. Les personnages importants ont leur propre 判詞 (versets prophétiques, connus sous le nom de « pànCí ») – des passages poétiques qui préfigurent de manière énigmatique le destin de chaque personnage.
De plus, les quatre-vingts premiers chapitres peuvent être validés les uns par rapport aux autres, ce qui rend le roman plus propice à la prédiction que de nombreuses autres œuvres de fiction.
Bien que la distribution des personnages soit vaste et leurs antécédents complexes, ce que nous prévoyons en fin de compte, c’est la vision artistique de Cao Xueqin : sa volonté créatrice imprègne toute l’œuvre. C’est une aide formidable pour prédire la fin.
Suivant : La thermodynamique du Rêve de la Chambre Rouge#
Le prochain article présentera l’approche expérimentale : extraire structurellement le contenu du texte, expérimenter de manière itérative pour extraire les règles intégrées dans le roman et utiliser du code pour exécuter des expériences répétées.
Le scénario idéalisé s’apparente à un système thermodynamique : étant donné les conditions initiales (prémisses - par exemple, les personnages, la richesse familiale, le statut socio-économique, les réseaux interpersonnels…) ainsi que les mécanismes de fonctionnement du système (psychologie humaine, hiérarchie sociale, dynamique économique, normes culturelles, rétribution karmique, etc.), on pourrait prédire l’état du système à tout moment ultérieur.