« Le théorème de Gödel brise le mythe le plus important de l'IA. L'IA ne sera jamais consciente », déclare le mathématicien Roger Penrose

[electroremy]

On parle beaucoup de l'IA en ce moment.

Roger Penrose, un mathématicien que j'admire beaucoup, vient de s'exprimer sur le sujet. Sa carrière est émaillée de nombreuses distinctions dont un prix Nobel.

Il avait publié dans les années 80 et 90 des ouvrages sur la question qui sont toujours des références, notamment "L'esprit, l'ordinateur et les lois de la physique" et "Les ombres de l'esprit. À la recherche d'une science de la conscience".

Ces livres se veulent accessibles au grand public mais la lecture est ardue... ce sont de gros pavés et il faut avoir de bonnes bases en mathématiques et beaucoup de patience. Mais c'est très bien, car ces ouvrages contribuent à remonter le niveau  

Si l'IA ou plus généralement l'informatique est un sujet qui vous intéressent, je vous recommande vivement de lire ces livres.

 

Ce que Roger Penrose explique est toujours très pertinent aujourd'hui. Voici donc ce qu'il vient de dire :

 

« Le théorème de Gödel brise le mythe le plus important de l'IA. L'IA ne sera jamais consciente », déclare le mathématicien Roger Penrose

il ajoute que le nom « intelligence artificielle » n'est pas le bon

 

Roger Penrose, lauréat du prix Nobel de physique, affirme que le théorème de Gödel remet en cause le mythe selon lequel l'IA est consciente ou le sera un jour. Selon lui, « la conscience n'est pas calculable » et l'IA, telle que nous la connaissons, ne parviendra jamais à une véritable intelligence. Il ajoute qu'il est important de comprendre la physique sous-jacente de la conscience, qui, selon lui, n'est pas calculable et implique la réalité quantique. Il réfute ainsi les déclarations selon lesquelles l'IA commence à montrer des signes de conscience. En outre, il a souligné que le nom « intelligence artificielle » n'est pas le bon, car il ne s'agit pas d'intelligence.

 

L'IA sera-t-elle un jour consciente ? Roger Penrose répond par la négative

 

Sir Roger Penrose, né le 8 août 1931 à Colchester, en Angleterre, est mathématicien, physicien et philosophe des sciences britannique. Il est professeur émérite de mathématiques à l'Université d'Oxford et est reconnu pour ses contributions majeures à la relativité générale et à la cosmologie. En 2020, il a reçu le prix Nobel de physique pour avoir découvert que la formation des trous noirs est une prédiction de la théorie générale de la relativité d'Albert Einstein.

 

Roger Penrose s'est également intéressé à la nature de la conscience humaine. Dans son livre "The Emperor's New Mind", il affirme que la conscience ne peut pas être expliquée uniquement par des processus computationnels et suggère que des phénomènes quantiques pourraient jouer un rôle dans l'activité cérébrale.

Lors d'une récente interview, Roger Penrose est revenu sur le sujet de la conscience dans le contexte de l'essor de l'IA. Il s'oppose d'emblée aux déclarations de certains leaders de l'industrie selon lesquels l'IA a une « conscience de soi ». Selon Roger Penrose, le théorème de Gödel détruit ce mythe.

 

Le théorème d'incomplétude de Gödel est un résultat fondamental de la logique mathématique qui dit que tout système logique suffisamment puissant admet nécessairement un énoncé qu'il ne peut ni démontrer ni réfuter. Le théorème a été publié en 1931 par Kurt Gödel, logicien et mathématicien autrichien.

Il ne s'agit pas d'intelligence artificielle. L'intelligence impliquerait la conscience. D'après l'argument de Gödel, vous voyez, c'est l'intrigue qui, je pense, a été perdue. Un ordinateur est un type très spécifique de structure mathématique. Il s'agit de mathématiques computationnelles. C'est une partie très limitée des mathématiques. Je ne pense pas qu'ils deviendront un jour conscients du fait qu'ils sont des ordinateurs au sens actuel du terme.

Mais je pense que la conscience n'est pas computationnelle. C'est toujours le cas avec l'IA. Si vous parlez à une IA, elle ne sait pas ce qu'elle fait. Les ordinateurs sont devenus si puissants qu'ils ne savent plus ce qu'ils font. Je pense que l'essentiel a été perdu. Je pense que Turing n'était pas si loin de la vérité. Je pense que les gens ont perdu le fil.

 

Le théorème de Gödel démontre qu'il existe des vérités mathématiques qui ne peuvent être prouvées par aucun ensemble de règles formelles. Selon Roger Penrose, cela implique que la conscience transcende le calcul, car elle implique de comprendre les raisons derrière les règles, et pas seulement de les suivre.

Il a déclaré que la conscience est un phénomène physique enraciné dans la physique non calculable, impliquant éventuellement la réalité quantique. Par conséquent, selon Roger Penrose, l'IA, qui s'appuie sur des règles de calcul, ne pourra jamais atteindre une véritable conscience.

Roger Penrose affirme que le nom « intelligence artificielle » n'est pas le bon

 

Outre les déclarations sur une éventuelle conscience de l'IA, Roger Penrose n'est pas non plus d'accord avec l'appellation « intelligence artificielle ». Selon le scientifique britannique, il ne s'agit en aucun cas d'intelligence, car l'intelligence implique la conscience. « Le nom n'est pas le bon. Il ne s'agit pas d'une intelligence artificielle. Ce n'est pas de l'intelligence. L'intelligence implique la conscience », a expliqué Roger Penrose lors de son interview.

 

Il a ajouté : « j'ai toujours été un fervent défenseur de l'idée que ces appareils ne sont pas conscients. Et ils ne seront pas conscients à moins qu'ils n'apportent d'autres idées. Ce sont toutes des notions calculables. Mais l'intelligence n'est pas la conscience. Elle dépend de la conscience. Vous voyez, cela dépend de la façon dont vous utilisez le mot. Je pense que lorsque les gens utilisent le mot "intelligence", ils font allusion à quelque chose qui est conscient ».

Il peut y avoir des choses complètement inconnues dont nous n'avons aucun concept pour le moment. C'est peut-être vrai. Je parle de choses... Vous voyez, si vous parlez d'IA, cela signifie, malheureusement, que c'est un mauvais terme parce qu'on parle d'intelligence artificielle. Selon moi, quand les gens utilisent ce terme, ils veulent dire des choses qui peuvent être faites par des ordinateurs. C'est ce qu'ils veulent dire. Ils ont des ordinateurs et leurs ordinateurs sont très puissants.

Et ce qu'ils entendent par IA, c'est l'utilisation d'ordinateurs. Il se peut qu'elle ne soit pas utilisée de manière tout à fait logique. Je n'ai pas étudié ces choses, donc je ne suis probablement pas à jour. Mais d'après ce que je vois, il s'agit d'examiner des masses de données et de rechercher des modèles ou d'essayer de les analyser de cette manière. Mais tout cela est informatique. Vous utilisez des ordinateurs.

 

Roger Penrose a déclaré que l'un des risques liés au développement de l'IA est que les gens pensent qu'il y a une conscience. Les déclarations de Roger Penrose ont suscité des réactions mitigées. Certains critiques affirment que l'IA n'est qu'un « algorithme » et n'est donc pas dotée de conscience.

D'autres rejettent les affirmations de Roger Penrose. « La plupart des théories de calculabilité ne s'appliquent pas à l'IA, y compris le théorème de Gödel. Les gens commencent par se tromper en parlant d'"algorithmes" d'IA. Ce terme s'applique plutôt à des concepts tels que la descente de gradient », note un critique.

« Mais les inférences des réseaux neuronaux qui en résultent ne sont pas un algorithme. Il ne s'agit pas d'une séquence définie d'opérations produisant un résultat défini. C'est comme une heuristique, une procédure qui se rapproche d'un résultat correct, mais qui ne fournit aucune garantie mathématique ».

La conscience de l'IA est un concept à la fois fascinant et problématique. D'un côté, les défenseurs de la théorie affirment que doter les machines d'une conscience de soi pourrait les rendre plus empathiques, plus capables d'interagir avec les humains de manière authentique et de comprendre le monde qui les entoure. Cependant, il y a plusieurs raisons de considérer cela comme une entreprise potentiellement dangereuse et fondamentalement futile.

 

Son intervention, en anglais, ici : 

[fran6p]

En complément des livres de Penrose, je te conseille, si tu ne connaissais pas, Douglas Hofstadter et son pavé (plus de mille pages) Gödel, Escher, Bach : Les Brins d'une Guirlande Éternelle. Ouvrage lu au milieu des années 80 qui m'avait fortement éclairé.

Mon seul regret est d'avoir égaré la couverture pelliculée de ce livre, sur laquelle figurait l'ambigramme GEB (on peut en faire des modèles imprimés ).

 

[jcjames_13009]

il y a 18 minutes, fran6p a dit :

l'ambigramme GEB (on peut en faire des modèles imprimés ).

C'est celui là ?

Source Wikipedia

En plus de tout ce que tu as écrit, j'ai auss appris un mot ce soir

A+

JC

[electroremy]

Il y aussi un autre grand mathématicien et ingénieur que j'admire : Claude Shannon

Il est malheureusement décédé en 2001. J'aurais aimé savoir ce qu'il pense de tout le ramdam actuel autour de l'IA aujourd'hui

Claude Shannon a fait partie des précurseurs de l'IA il y a 70 ans. Il est surtout célèbre pour avoir été le père de la théorie de l'information. Il a posé les bases du traitement numérique du signal, qui joue un rôle fondamental dans nos sociétés numériques : télécommunications, radio et télédiffusion, traitement d'image, compression de données, compression JPEG et MP3, vidéo, photo numérique, traitement des images en astrophotographie, codes correcteurs d'erreurs (indispensables à plein de choses comme les disques dur haute capacité), la cryptographie et tant d'autres... tout ça est basé sur ses travaux.

Claude Shannon est aussi connu pour avoir, en plus de ses travaux, créé des inventions farfelues, comme la célèbre useless box, un robot jongleur, ou encore une souris mécanique qui trouve seule la sortie d'un labyrinthe.

C'est sûr, il aurait adoré l'impression 3D

https://fr.wikipedia.org/wiki/Claude_Shannon

La chaine Arte lui avait consacré un très beau documentaire

Il y a également ce podcast de France Culture : https://www.radiofrance.fr/franceculture/podcasts/continent-sciences/claude-shannon-et-l-avenement-du-numerique-5275407

 

 

Modifié (le) Mars 10 par electroremy

[fran6p]

Bon nombre des IA génératives (LLM) ont fortement été influencées par les travaux de Noam Chomsky en linguistique (encore vivant). 

Marvin Minski (décédé en 2016), est évidemment à ne pas oublier, particulièrement dans son ouvrage le plus connu : la Société de l'esprit. J'avais adoré son roman de SF, le Problème de Turing (lu il y a déjà de nombreuses années).

Sans oublier John Von Neumann (décédé en 1957), père de l'architecture des ordinateurs modernes .

 

[pjtlivjy]

bonsoir @electroremy pourquoi avoir peur de l'IA comme toute "invention" elle aura des bons et des mauvais côtés inévitablement

j'allais dire comme internet 

[RT36]

tout d'abord, faut définir ce qu'est la conscience, et puis ce qu'est la conscience pour l'IA ...

parce que tout est relative, certains diront qu'un chien a de la conscience, et d'autres, que c'est juste un animale domestique qu'on cherche a doter de cette conscience pour se rassurer, et donc, peut-être, je dis peut-être, que dire que l'IA ne sera jamais consciente est aussi une forme d'autoprotection  

bref, peut-être qu'elle ne le sera pas, peut-être que si, à sa façon ...

et n'oubliez-pas ... skynet is watching you  

[electroremy]

Il y a 2 heures, pjtlivjy a dit :

bonsoir @electroremy pourquoi avoir peur de l'IA comme toute "invention" elle aura des bons et des mauvais côtés inévitablement

j'allais dire comme internet 

Il ne s'agit pas "d'avoir peur" de l'IA

Il s'agit plutôt de prendre du recul par rapport aux discours marketings, pour en revenir aux fondamentaux.

La puissance de calcul ne fait pas tout. Une partie importante des problèmes de l'IA vient de problèmes et de limites mathématiques, toujours non résolus à ce jour.

On aura bon avoir des data centers de plus en plus gros et puissants, tant qu'aucun mathématicien ne sera parvenu à résoudre les problèmes fondamentaux posés par Godel, Turing et bien d'autres, les avancées de l'IA seront très limitées.

C'est comme les problèmes posés par l'incompatibilité entre la théorie de la relativité générale et la mécanique quantique. Les physiciens se cassent toujours les dents dessus. On aura beau construire des accélérateurs de particules toujours plus performants, on aura beau envoyer dans l'espace des téléscopes toujours plus sensibles, sans avancée théorique, on restera un peu coincé.

 

La technique et les applications, c'est très utile...

...mais ça ne fait pas tout.

 

On a quand même besoin de la théorie...

...même si elle nous "embête" un peu 

 

C'est une chose que les "startup-eurs", que nos dirigeants et que les journalistes on parfois tendance à oublier 

Selon moi, la vraie révolution de l'IA viendra d'une avancée théorique.

C'est pareil pour la physique : on espère une nouvelle théorie pour surpasser la relativité génétale et la mécanique quantique.

La science a fait un pas de géant quand la relativité générale et la mécanique quantique ont surpassé les théories précédentes (mécanique et physique "classique" de Newton et Lord Kelvin).

 

A tous les jeunes passionnés de technologie et de science : vous voulez changez le monde, n'ayez pas peur de choisir comme filière... les mathématiques théoriques 

[divers]

@electroremy si tu utilises au quotidien une I.A. payante, tu te rends très vite compte de sa qualité et un peu de ses possibilités.

Concernant Roger Penrose, je ne suis pas certain qu'à 94 ans on soit le mieux armé pour parler des nouvelles technologies comme l'I.A. (ou seulement comme philosophe)

L'I.A. certes le nom est pompeux, mais c'est grâce à ce titre que l'opinion publique a pris conscience du sujet, donc c'est un bon choix.

 

Modifié (le) Mars 11 par divers
modif

[electroremy]

il y a 10 minutes, divers a dit :

Je ne suis pas certain qu'à 94 ans on soit le mieux armé pour parler des nouvelles technologies comme l'I.A. (ou seulement comme philosophe)

Quand un viellard meurt, c'est une bibliothèque qui brûle.

Les compétences de Roger Penrose sont dans le domaine des mathématiques. Et il a encore toutes ses facultées.

Aucun de nos jeunes talentueux startupeurs disruptifs n'ont été en mesure de contredire ce qu'a démontré Gödel dans les années 1930...

 

[divers]

Oui il a toutes ses facultés (sans e) du siècle dernier. Les technologies évolues très vite et à son age c'est l'inverse.

On ne remet en cause la roue, mais on lui a ajouté un pneu, des roulements et même des freins.

Je ne parle pas des startups mais des grandes entreprises pleines d'ingés jeunes et dynamiques

[Funboard29]

Il y a 3 heures, divers a dit :

Les technologies évolues très vite et à son age c'est l'inverse.

L'"intelligence" artificielle a comme moteur principal la théorie des statistiques.

Un mathématicien de 94 ans du calibre de Penrose peut parfaitement le comprendre puisqu'il a participé aux fondements de cette théorie.

C'est le processeur et la fibre qui ont accéléré l'IA, mais les bases existent depuis beaucoup plus longtemps.

Le jour ou un programme d'IA tournera sur une bécane non reliée au réseau alors on parlera de vrai révolution.

Pour l'instant ça fait causer Mme Michu le coude sur le comptoir.

[RFN_31]

Il y a 3 heures, Funboard29 a dit :

Le jour ou un programme d'IA tournera sur une bécane non reliée au réseau alors on parlera de vrai révolution.

Ça existe... Une fois l'apprentissage fait, on peut faire tourner une IA sur un server en Intranet non relié à Internet...

[RT36]

il y a 3 minutes, RFN_31 a dit :

Ça existe... Une fois l'apprentissage fait, on peut faire tourner une IA sur un server en Intranet non relié à Internet...

un peu comme l'IN/H (naturelle / humaine) 

[divers]

Je pense qu’il faut s’intéressez plus à l’I.A. et s’en servir sérieusement avant d’en parler (comme toutes les techno).

 

[Funboard29]

C'est passé inaperçu et pourtant c'est assez vertigineux quand on y réfléchit un peu.

C'est ICI

[electroremy]

Il y a 2 heures, Funboard29 a dit :

C'est passé inaperçu et pourtant c'est assez vertigineux quand on y réfléchit un peu.

C'est ICI

Encore mieux :

https://www.courrierinternational.com/article/technologie-l-ia-pourrait-renforcer-la-fraude-autant-que-le-progres-scientifique

Nous sommes en route vers un avenir radieux !

 

[pjtlivjy]

il y a 1 minute, electroremy a dit :

Encore mieux :

https://www.courrierinternational.com/article/technologie-l-ia-pourrait-renforcer-la-fraude-autant-que-le-progres-scientifique

Nous sommes en route vers un avenir radieux !

 

l'IA triche, excellente nouvelle elle s'humanise 

[RT36]

il y a 4 minutes, pjtlivjy a dit :

l'IA triche, excellente nouvelle elle s'humanise 

moi, l'ia (gpt) m'a déjà dit que le code ne marche pas, parce que j'ai oublié une variable, alors que c'était elle qui l'a écrit 

[electroremy]

Il y a 19 heures, RT36 a dit :

moi, l'ia (gpt) m'a déjà dit que le code ne marche pas, parce que j'ai oublié une variable, alors que c'était elle qui l'a écrit 

On vient d'inventer la méchanceté artificielle 

@divers : méfie-toi on va te remplacer par une IA sur le forum 

Modifié (le) Mars 13 par electroremy

[divers]

Impossible je surclasse toutes formes d'agression verbale.

Plus sérieusement, je me suis amusé à écrire un brouillon de réponse très brutale à une personne qui m'énervait, puis j'ai demandé à l'I.A. de reprendre ce brouillon en le rendant ferme mais correcte. Le résultat est parfait.

[electroremy]

il y a 25 minutes, divers a dit :

Impossible je surclasse toutes formes d'agression verbale.

Un match entre toi et une IA pourrait être l'équivalent émotionnel du test de Turing 

il y a 25 minutes, divers a dit :

Plus sérieusement, je me suis amusé à écrire un brouillon de réponse très brutale à une personne qui m'énervait, puis j'ai demandé à l'I.A. de reprendre ce brouillon en le rendant ferme mais correcte. Le résultat est parfait.

Je suis à la fois rassuré et inquiet