Apparat - Magazine sur la nouvelle société. Lire en ligne « Intelligence artificielle »

8 Général

Évaluation par getAbstract

Selon Nick Bostrom, futuriste d'Oxford, l'intelligence artificielle peut devenir un outil permettant d'assurer la sécurité, la prospérité économique et le développement intellectuel, mais l'humanité ne sera peut-être pas en mesure d'exploiter tout le potentiel de cet outil. Bostrom critique étape par étape les pièges inhérents à la perception humaine de l'IA, et on a le sentiment que les humains n'ont ni les ressources ni l'imagination nécessaires pour comprendre la transition d'un monde dominé par les humains à un monde menacé ou menacé. déjà asservi par une entité dotée d'un supramental. Bostrom décrit magistralement comment une telle superintelligence pourrait surgir, comment elle évoluerait vers un « singleton » tout-puissant et la menace qu’elle représenterait. Par exemple, que se passerait-il, demande-t-il, si cette IA se développait au point de former un gouvernement mondial unique qui ne serait pas guidé par les principes éthiques traditionnels ? Informatif, riche de références à diverses sources, le livre encourage le lecteur à réfléchir à de nombreuses inconnues. Le raisonnement de l'auteur s'appuie sur une analyse de toute une gamme de scénarios futurs possibles. Cette étude approfondie s’adresse principalement aux lecteurs particulièrement intéressés par le sujet. obtenirRésumé le recommande aux hommes politiques, futuristes, étudiants, investisseurs, philosophes et à tous ceux qui réfléchissent à la haute technologie.

Du résumé du livre, vous apprendrez :

  • Comment évolue la technologie connue sous le nom d’« intelligence artificielle » ;
  • Que suggèrent les scientifiques pour utiliser et contrôler l’IA ?
  • Pourquoi l’humanité n’est pas prête à faire face à l’IA.

À propos de l'auteur

Nick Bostrom– Professeur à l’Université d’Oxford, directeur fondateur de l’Institut pour l’avenir de l’humanité.

Perspectives d'émergence de la superintelligence

À l'été 1956, un groupe de scientifiques s'est réuni au Dartmouth College pour étudier les perspectives de développement humain. Ils s’intéressaient principalement à la capacité des machines à reproduire les fonctions de l’intelligence humaine. Les recherches sur ce sujet se sont poursuivies avec plus ou moins de succès. Dans les années 1980, des programmes basés sur des règles, ou « systèmes experts », ont commencé à se développer, et il a commencé à sembler que les technologies pouvant être utilisées pour créer une intelligence artificielle étaient sur le point de fleurir. Puis les progrès se sont arrêtés et les financements se sont taris. Les efforts en matière d’IA ont reçu un nouvel élan dans les années 1990 avec l’avènement des « algorithmes génétiques » et des « réseaux de neurones ».

Une mesure de la puissance de l'IA est la capacité des ordinateurs spécialement conçus à jouer à des jeux tels que les échecs, le bridge, le Scrabble, le Go et les jeux-questionnaires. Dans environ 10 ans, un ordinateur doté d’algorithmes avancés sera capable de vaincre le champion du monde de Go. Outre les jeux, des technologies similaires sont utilisées dans les appareils auditifs, les appareils de reconnaissance faciale et vocale, la navigation, le diagnostic, la planification, la logistique, ainsi que pour créer des robots industriels dont la fonctionnalité...

Récemment, le fondateur de Tesla Motors et SpaceX, Elon Musk, a créé une intelligence artificielle pour invoquer un démon impossible à contrôler. Musk partage son scepticisme avec le philosophe britannique Nick Bostrom, dont l'homme d'affaires a recommandé le dernier livre « Superintelligence : Paths, Dangers, Strategies » à ses abonnés sur Twitter. Alors que certains futurologues prédisent un avenir confortable pour l’humanité grâce au remplacement généralisé du travail humain par le travail mécanique, Nick Bostrom considère l’intelligence artificielle comme une menace pour l’existence de notre espèce tout entière. Apparat s'est familiarisé avec les idées de Nick Bostrom et a découvert comment, selon lui, l'humanité peut être sauvée.

Nick Bostrom
Philosophe et professeur à l'Université d'Oxford

Il y a plusieurs années, le magazine Foreign Policy l'a inclus dans sa liste des 100 penseurs les plus importants de la planète. Nick Bostrom croit à l’autonomisation des individus grâce à la technologie. En 1998, il fonde l’Association Transhumaniste Mondiale (aujourd’hui appelée Humanité+) pour lutter pour la reconnaissance du transhumanisme comme domaine de connaissance scientifique à part entière. Bostrom est devenu célèbre en dehors des cercles universitaires lorsqu'il a décrit le concept d'extinction humaine dans le livre Global Catastrophic Risks. Bostrom est directeur de l'Oxford Future of Humanity Institute. Il tente désormais d'attirer l'attention du public sur une autre menace qui pèse sur notre civilisation : la superintelligence.

L'intelligence artificielle deviendra bientôt plus intelligente que nous

Pour Nick Bostrom, peu importe le domaine de connaissance qui nous mènera à la création de la superintelligence. Qu'il s'agisse de programmeurs qui ont écrit un programme capable de penser, ou de neuroscientifiques, recréé cerveau humain fonctionnel. L’essentiel est que cela se produise plus rapidement que nous ne le pensons. La plupart des experts interrogés par Bostrom prévoient la création d’une intelligence artificielle intelligente d’ici 2040 ou 2050.

L’intelligence artificielle est déjà supérieure à l’intelligence humaine dans de nombreux domaines. Ainsi, depuis de nombreuses années, différents types d’intelligence artificielle battent les champions de divers tournois de jeux, qu’il s’agisse d’échecs ou de poker. De telles réalisations ne semblent peut-être pas particulièrement impressionnantes, mais c’est parce que nos exigences en matière d’extraordinaire s’adaptent rapidement au progrès.

Grâce à sa capacité d'auto-apprentissage, l'intelligence artificielle se transformera en superintelligence

Selon Bostrom, l’intelligence artificielle ressemblera dans un premier temps au cerveau d’un enfant. Et comme un enfant, il pourra apprendre. Les gens cesseront d’essayer de mettre autant d’informations que possible dans le programme et lui apprendront à comprendre le monde qui l’entoure. L’existence d’une superintelligence sera possible grâce à une amélioration constante de soi.

Il est important pour nous de créer une intelligence artificielle suffisamment intelligente pour apprendre de ses erreurs. Il pourra s'améliorer à l'infini. La première version pourra en créer une seconde, qui sera meilleure, et la seconde, étant plus intelligente que l'originale, en créera une troisième encore plus avancée, et ainsi de suite. Dans certaines conditions, ce processus d'auto-amélioration peut être répété jusqu'à ce qu'une explosion intellectuelle soit obtenue - le moment où le niveau intellectuel du système passe en peu de temps d'un niveau relativement modeste au niveau de superintelligence.

La superintelligence aura ses propres besoins et objectifs

La façon de penser de l’intelligence artificielle sera différente de la nôtre. Nick Bostrom n’essaie pas de prédire exactement comment fonctionnera la motivation de la superintelligence. Mais quels que soient ses objectifs, il aura besoin de ressources pour les atteindre.

L’intelligence artificielle est peut-être moins humaine qu’un extraterrestre. Il n’est pas surprenant que tout extraterrestre intelligent puisse être motivé à agir par des facteurs tels que la faim, la température, une blessure, une maladie, une menace pour sa vie ou le désir d’avoir une progéniture. En fait, l’intelligence artificielle ne s’intéressera à aucun de ces éléments. On peut imaginer l’existence d’une intelligence artificielle dont le seul but ultime serait de compter tous les grains de sable de l’île de Boracay ou de trouver la représentation décimale du nombre π.

La superintelligence tentera d'utiliser les gens contre leur gré

Pour accéder aux ressources, la superintelligence va tenter de trouver un intermédiaire. Selon Bostrom, même sans connexion réseau ni capacité d’être physiquement actif, la superintelligence sera toujours en mesure d’atteindre ses objectifs. Car même lorsque nous atteindrons la maturité technologique, c’est-à-dire que nous créerons toutes les technologies possibles, notre principale faiblesse restera nous-mêmes.

L'homme est le système le plus peu fiable. Aujourd'hui, les pirates informatiques ont souvent recours aux principes de l'ingénierie sociale pour accéder à l'ordinateur de quelqu'un d'autre. Et si le hacker manipulateur s'avère être une superintelligence, alors nous pouvons supposer qu'il trouvera facilement un complice ou commencera simplement à nous utiliser contre notre gré comme bras et jambes.

La superintelligence pourrait « vouloir » rester la seule intelligence

Certains philosophes et scientifiques ne voient dans l’intelligence artificielle qu’un outil pour améliorer la qualité de nos vies. Parmi eux se trouve le philosophe américain John Searle : il considère impossible l'émergence de la conscience de soi dans les machines, car cela nécessite la présence de processus physiques et chimiques similaires à ceux qui se produisent dans le cerveau humain. Cependant, Bostrom estime qu'à un moment donné, la superintelligence cessera d'être un outil, mais se révélera être un être à part entière avec ses propres besoins, et le souci de la préservation de la race humaine n'en fera peut-être pas partie. Nous ne serons qu'un obstacle sur son chemin.

L’homme lui-même est une ressource utile (atomes judicieusement regroupés), et sa survie et sa prospérité dépendent d’autres ressources. Le développement d’une intelligence artificielle ayant besoin de ces ressources pourrait facilement conduire à l’extinction de l’humanité. Ainsi, le temps viendra d’une société technologiquement hautement développée, comprenant de nombreuses structures complexes, dont beaucoup seront plus intelligentes que tout ce qui existe aujourd’hui sur la planète. Ce sera une époque de miracles économiques et technologiques. Mais il ne restera plus personne pour en profiter. Disneyland régnera sur Terre, dans lequel il n'y aura plus d'enfants.

L’humanité doit apprendre à garder la technologie sous contrôle

Nick Bostrom ne nie pas la possibilité de créer ou de contrôler une intelligence artificielle conviviale. Après tout, admet le philosophe, nous avons vraiment besoin de technologies intelligentes qui nous aideront à faire face aux problèmes urgents. La seule question est de réduire les risques, notamment celui d’extinction.

Si une explosion intellectuelle nous menace d’extinction, alors nous devons comprendre si nous pouvons contrôler le processus de détonation. Aujourd’hui, il serait plus logique d’accélérer les efforts pour résoudre le problème du contrôle plutôt que de suspendre la recherche dans le domaine de l’intelligence artificielle. Mais pour l’instant, six personnes travaillent à résoudre le problème du contrôle, tandis que des dizaines, voire des centaines de milliers, travaillent à la création d’une intelligence artificielle.

Conscient signifie armé

L’humanité n’est pas encore prête à rencontrer la superintelligence et ne le sera pas avant de nombreuses années, note Bostrom. Mais même si le sursaut intellectuel ne se produira peut-être pas avant un certain temps, nous devons prêter attention dès maintenant aux problèmes possibles. De nombreux scientifiques, dans leur quête de création d’une superintelligence, oublient les dangers.

La chose la plus sensée pour un enfant avec une bombe à retardement dans les mains serait de la poser soigneusement sur le sol, de sortir rapidement de la pièce et d'appeler un adulte. Mais que se passe-t-il si notre pièce entière est remplie d’enfants et que chaque enfant a un accès facile à la gâchette. Les chances que nous posions tous un jouet dangereux sont extrêmement faibles. Un petit idiot est obligé d'appuyer sur le bouton juste pour voir ce qui se passe.

Que se passera-t-il si les machines surpassent les humains en intelligence ? Vont-ils nous aider ou détruire la race humaine ? Pouvons-nous aujourd’hui ignorer le problème du développement de l’intelligence artificielle et nous sentir totalement en sécurité ?

Dans son livre, Nick Bostrom tente de comprendre le problème auquel l'humanité est confrontée en lien avec la perspective de l'émergence de la superintelligence et d'analyser sa réponse.

Caractéristiques du livre

Date d'écriture : 2014
Nom: . Étapes. Menaces. Stratégies

Volume : 760 pages, 69 illustrations
ISBN : 978-5-00057-810-0
Traducteur : Sergueï Filine
Détenteur des droits d'auteur : Mann, Ivanov et Ferber

Préface du livre « Intelligence Artificielle »

L'auteur estime que la menace mortelle est associée à la possibilité de créer une intelligence artificielle qui surpasse l'esprit humain. Une catastrophe pourrait éclater à la fin du XXIe siècle et dans les décennies à venir. Toute l’histoire de l’humanité le montre : lorsqu’il y a une collision entre un représentant de notre espèce, Homo sapiens, et n’importe qui d’autre habitant notre planète, celui qui est le plus intelligent gagne. Jusqu’à présent, nous avons été les plus intelligents, mais nous n’avons aucune garantie que cela durera éternellement.

Nick Bostrom écrit que si les algorithmes informatiques intelligents apprennent à créer indépendamment des algorithmes encore plus intelligents, et ceux-ci, à leur tour, encore plus intelligents, il y aura une croissance explosive de l'intelligence artificielle, en comparaison avec laquelle les gens ressembleront à peu près à des fourmis à côté des gens d'aujourd'hui, dans un sens intellectuel, bien sûr. Une nouvelle espèce, bien qu'artificielle, mais superintelligente, apparaîtra dans le monde. Peu importe ce qui « vient à l'esprit », une tentative de rendre tout le monde heureux ou une décision de mettre fin à la pollution anthropique des océans du monde de la manière la plus efficace, c'est-à-dire qu'en détruisant l'humanité, les gens ne pourront toujours pas résistez à cela. Aucune chance d'affrontement dans l'esprit du film Terminator, pas de fusillade avec des cyborgs de fer. L'échec et mat nous attend - comme dans un duel entre l'ordinateur d'échecs « Deep Blue » et un élève de première année.

Au cours des cent ou deux dernières années, les progrès de la science ont éveillé chez certains l’espoir de résoudre tous les problèmes de l’humanité, tandis que chez d’autres, ils ont suscité et continuent de susciter une peur effrénée. En même temps, il faut dire que les deux points de vue semblent tout à fait justifiés. Grâce à la science, de terribles maladies ont été vaincues, l'humanité est aujourd'hui capable de nourrir un nombre sans précédent de personnes et, d'un point du globe, on peut arriver à l'opposé en moins d'une journée. Cependant, grâce à la même science, les hommes, utilisant les dernières technologies militaires, se détruisent les uns les autres avec une rapidité et une efficacité monstrueuses.

Nous observons une tendance similaire - lorsque le développement rapide de la technologie conduit non seulement à la formation de nouvelles opportunités, mais crée également des menaces sans précédent - dans le domaine de la sécurité de l'information. Notre industrie tout entière est née et existe uniquement parce que la création et la distribution massive de choses aussi merveilleuses que les ordinateurs et Internet ont créé des problèmes qui auraient été inimaginables à l’ère pré-informatique. Grâce à l’avènement des technologies de l’information, une révolution s’est produite dans les communications humaines. Il a également été utilisé par divers types de cybercriminels. Et ce n'est que maintenant que l'humanité commence progressivement à prendre conscience de nouveaux risques : de plus en plus d'objets du monde physique sont contrôlés à l'aide d'ordinateurs et de logiciels, souvent imparfaits, pleins de trous et vulnérables ; Avec de plus en plus de ces objets connectés à Internet, les menaces du monde cybernétique deviennent rapidement des problèmes de sécurité physique et potentiellement des problèmes de vie ou de mort.

C'est ce qui rend le livre de Nick Bostrom si intéressant. La première étape pour prévenir les scénarios cauchemardesques (pour un seul réseau informatique ou pour l’humanité entière) est de comprendre de quoi ils pourraient être. Bostrom émet de nombreuses réserves sur le fait que la création d'une intelligence artificielle comparable ou supérieure à l'esprit humain - une intelligence artificielle capable de détruire l'humanité - n'est qu'un scénario probable qui pourrait ne pas se réaliser. Bien sûr, les options sont nombreuses, et le développement de la technologie informatique ne détruira peut-être pas l'humanité, mais nous donnera la réponse à « la question principale de la vie, de l'Univers et de tout » (peut-être que ce sera vraiment le nombre 42, comme dans le roman « Le Guide du voyageur galactique »). Il y a de l’espoir, mais le danger est très sérieux, nous prévient Bostrom. À mon avis, si la possibilité d’une telle menace existentielle pour l’humanité existe, alors elle doit être traitée en conséquence et, afin de la prévenir et de s’en protéger, des efforts communs doivent être déployés à l’échelle mondiale.

Introduction

Il y a une certaine substance à l’intérieur de notre crâne, grâce à laquelle nous pouvons, par exemple, lire. Cette substance - le cerveau humain - est dotée de capacités absentes chez les autres mammifères. En fait, c’est précisément à ces traits caractéristiques que les hommes doivent leur position dominante sur la planète. Certains animaux se distinguent par des muscles puissants et des crocs acérés, mais aucune créature vivante, à l'exception des humains, n'est dotée d'un esprit aussi parfait. Grâce à notre niveau intellectuel plus élevé, nous avons pu créer des outils tels que le langage, la technologie et une organisation sociale complexe. Au fil du temps, notre avantage n’a fait que se renforcer et s’élargir, à mesure que chaque nouvelle génération, s’appuyant sur les réalisations de ses prédécesseurs, avançait.

Si l’on développe une intelligence artificielle qui dépasse le niveau général de développement de l’esprit humain, alors une intelligence surpuissante apparaîtra dans le monde. Et le sort de notre espèce dépendra alors directement des actions de ces systèmes techniques intelligents - tout comme le sort des gorilles aujourd'hui est largement déterminé non pas par les primates eux-mêmes, mais par les intentions humaines.

L’humanité dispose cependant d’un avantage indéniable puisqu’elle crée des systèmes techniques intelligents. En principe, qui vous empêche d'imaginer une telle superintelligence qui prendra sous sa protection les valeurs humaines universelles ? Bien entendu, nous avons de très bonnes raisons de nous protéger. Concrètement, nous devrons faire face à la question la plus difficile du contrôle : comment contrôler les plans et les actions de la superintelligence. De plus, les gens ne pourront utiliser qu’une seule chance. Dès qu’une intelligence artificielle (IA) hostile apparaît, elle commence immédiatement à interférer avec nos efforts pour nous en débarrasser ou au moins ajuster ses paramètres. Et c’est alors que le sort de l’humanité sera scellé.

Dans mon livre, j’essaie de comprendre le problème auquel les gens sont confrontés face à la perspective de la superintelligence et d’analyser leur réponse. Le programme le plus sérieux et le plus effrayant que l’humanité ait jamais reçu nous attend peut-être. Et peu importe si nous gagnons ou perdons, il est possible que ce défi soit le dernier. Je ne présente ici aucun argument en faveur d’une version ou d’une autre : sommes-nous à la veille d’une grande avancée dans la création de l’intelligence artificielle ; Est-il possible de prédire avec une certaine précision quand un certain événement révolutionnaire aura lieu ? Très probablement – ​​au cours de ce siècle. Il est peu probable que quiconque fixe un délai plus précis.

Intelligence artificielle. Étapes. Menaces. Stratégies - Nick Bostrom (télécharger)

(fragment d'introduction du livre)

Nick Bostrom

Intelligence artificielle. Étapes. Menaces. Stratégies

Nick Bostrom

Superintelligence

Chemins, dangers, stratégies


Rédacteurs scientifiques M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev


Publié avec la permission de l'agence Alexander Korzhenevski


Le soutien juridique de la maison d'édition est assuré par le cabinet d'avocats Vegas-Lex.


Ce livre a été initialement publié en anglais en 2014. Cette traduction est publiée en accord avec Oxford University Press. L'éditeur est seul responsable de cette traduction à partir de l'œuvre originale et Oxford University Press ne pourra être tenu responsable des erreurs, omissions, inexactitudes ou ambiguïtés dans cette traduction ou de toute perte causée par la confiance accordée à celle-ci.


© Nick Bostrom, 2014

© Traduction en russe, publication en russe, conception. Mann, Ivanov et Ferber LLC, 2016

* * *

Ce livre complète bien

Théorie des jeux

Avinash Dixit et Barry Nalbuff


Ken Jennings


Plaisir x

Stephen Strogatz

Avant-propos du partenaire

... J'ai un ami », a déclaré Edik. « Il affirme que l'homme est un maillon intermédiaire dont la nature a besoin pour créer la couronne de la création : un verre de cognac avec une tranche de citron.

Arkady et Boris Strugatsky. Le lundi commence samedi

L'auteur estime que la menace mortelle est associée à la possibilité de créer une intelligence artificielle qui surpasse l'esprit humain. Une catastrophe pourrait éclater à la fin du XXIe siècle et dans les décennies à venir. Toute l’histoire de l’humanité le montre : lorsqu’il y a une collision entre un représentant de notre espèce, Homo sapiens, et n’importe qui d’autre habitant notre planète, celui qui est le plus intelligent gagne. Jusqu’à présent, nous avons été les plus intelligents, mais nous n’avons aucune garantie que cela durera éternellement.

Nick Bostrom écrit que si les algorithmes informatiques intelligents apprennent à créer indépendamment des algorithmes encore plus intelligents, et ceux-ci, à leur tour, encore plus intelligents, il y aura une croissance explosive de l'intelligence artificielle, en comparaison avec laquelle les gens ressembleront à peu près à des fourmis à côté des gens d'aujourd'hui, dans un sens intellectuel, bien sûr. Une nouvelle espèce, bien qu'artificielle, mais superintelligente, apparaîtra dans le monde. Peu importe ce qui lui vient à l'esprit, une tentative de rendre tout le monde heureux ou une décision de mettre fin à la pollution anthropique des océans du monde de la manière la plus efficace, c'est-à-dire qu'en détruisant l'humanité, les gens ne pourront toujours pas résister. ce. Aucune chance d'affrontement dans l'esprit du film Terminator, pas de fusillade avec des cyborgs de fer. L'échec et mat nous attend - comme dans un duel entre l'ordinateur d'échecs « Deep Blue » et un élève de première année.

Au cours des cent ou deux dernières années, les progrès de la science ont éveillé chez certains l’espoir de résoudre tous les problèmes de l’humanité, tandis que chez d’autres, ils ont suscité et continuent de susciter une peur effrénée. En même temps, il faut dire que les deux points de vue semblent tout à fait justifiés. Grâce à la science, de terribles maladies ont été vaincues, l'humanité est aujourd'hui capable de nourrir un nombre sans précédent de personnes et, d'un point du globe, on peut arriver à l'opposé en moins d'une journée. Cependant, grâce à la même science, les hommes, utilisant les dernières technologies militaires, se détruisent les uns les autres avec une rapidité et une efficacité monstrueuses.

Une tendance similaire - lorsque le développement rapide de la technologie conduit non seulement à la formation de nouvelles opportunités, mais crée également des menaces sans précédent - que nous observons dans le domaine de la sécurité de l'information. Notre industrie tout entière est née et existe uniquement parce que la création et la distribution massive de choses aussi merveilleuses que les ordinateurs et Internet ont créé des problèmes qui auraient été inimaginables à l’ère pré-informatique. Grâce à l’avènement des technologies de l’information, une révolution s’est produite dans les communications humaines. Il a également été utilisé par divers types de cybercriminels. Et ce n'est que maintenant que l'humanité commence progressivement à prendre conscience de nouveaux risques : de plus en plus d'objets du monde physique sont contrôlés à l'aide d'ordinateurs et de logiciels, souvent imparfaits, pleins de trous et vulnérables ; Alors que de plus en plus de ces objets sont connectés à Internet, les menaces du monde cybernétique deviennent rapidement des problèmes de sécurité physique et potentiellement des problèmes de vie ou de mort.

C'est ce qui rend le livre de Nick Bostrom si intéressant. La première étape pour prévenir les scénarios cauchemardesques (pour un seul réseau informatique ou pour l’humanité entière) est de comprendre de quoi ils pourraient être. Bostrom émet de nombreuses réserves sur le fait que la création d'une intelligence artificielle comparable ou supérieure à l'esprit humain - une intelligence artificielle capable de détruire l'humanité - n'est qu'un scénario probable qui pourrait ne pas se réaliser. Bien sûr, les options sont nombreuses, et le développement de la technologie informatique ne détruira peut-être pas l'humanité, mais nous donnera la réponse à « la question principale de la vie, de l'Univers et de tout » (peut-être que ce sera vraiment le nombre 42, comme dans le roman « Le Guide du voyageur galactique »). Il y a de l’espoir, mais le danger est très sérieux, nous prévient Bostrom. À mon avis, si la possibilité d’une telle menace existentielle pour l’humanité existe, alors elle doit être traitée en conséquence et, afin de la prévenir et de s’en protéger, des efforts communs doivent être déployés à l’échelle mondiale.

Je voudrais terminer mon introduction par une citation du livre de Mikhail Weller « Man in the System » :

Lorsque la science-fiction, c'est-à-dire la pensée humaine encadrée par des images et des intrigues, répète quelque chose pendant longtemps et en détail, eh bien, il n'y a pas de fumée sans feu. Les films d'action hollywoodiens banals sur les guerres entre les peuples et la civilisation des robots contiennent un grain de vérité amère sous l'enveloppe du visionnage commercial.

Lorsqu'un programme transférable d'instincts sera intégré aux robots et que la satisfaction de ces instincts sera intégrée comme un besoin inconditionnel et fondamental, et que cela atteindra le niveau de l'auto-reproduction - alors, les gars, arrêtez de lutter contre le tabac et l'alcool, car il sera temps de boire et de fumer avant Hana pour nous tous.

Evgueni Kaspersky,Directeur général de Kaspersky Lab

L'histoire inachevée des moineaux

Un jour, au milieu de la nidification, les moineaux, fatigués de plusieurs jours de dur labeur, se sont assis pour se reposer au coucher du soleil et bavarder de ceci et de cela.

« Nous sommes si petits, si faibles. » Imaginez à quel point la vie serait plus facile si nous avions un hibou comme assistant ! – gazouillait rêveusement un moineau. - Elle pourrait nous construire des nids...

- Ouais! – en a convenu un autre. – Et aussi prendre soin de nos vieux et de nos poussins...

"Et instruisez-nous et protégez-nous du chat du voisin", a ajouté un troisième.

Alors Pastus, l'aîné des moineaux, suggéra :

– Laissez les éclaireurs voler dans différentes directions à la recherche de la chouette tombée du nid. Cependant, un œuf de chouette, un corbeau et même un bébé belette feront l'affaire. Cette trouvaille s'avérera être la plus grande réussite de notre troupeau ! Comme la fois où nous avons découvert une source inépuisable de céréales dans notre jardin.

Les moineaux, sérieusement excités, gazouillaient aussi fort qu'ils pouvaient.

Et seul le Skronfinkle borgne, un moineau caustique au tempérament difficile, semblait douter de l'opportunité de cette entreprise.

« Nous avons choisi une voie désastreuse », a-t-il déclaré avec conviction. – Ne devriez-vous pas d’abord étudier sérieusement les questions d’apprivoisement et de domestication des hiboux avant de permettre à une créature aussi dangereuse de pénétrer dans votre environnement ?

"Il me semble", lui objecta Pastus, "l'art d'apprivoiser les hiboux n'est pas une tâche facile." Trouver un œuf de chouette est sacrément difficile. Commençons donc par la recherche. Une fois que nous parviendrons à élever une chouette, nous réfléchirons alors aux problèmes d’éducation.

- Un plan vicieux ! » Gazouillait nerveusement Scrofinkle.

Mais plus personne ne l'écoutait. Sous la direction de Pastus, le troupeau de moineaux s'envola et partit.

Nick Bostrom

Superintelligence

Chemins, dangers, stratégies

Rédacteurs scientifiques M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

Publié avec la permission de l'agence Alexander Korzhenevski

Le soutien juridique de la maison d'édition est assuré par le cabinet d'avocats Vegas-Lex.

Ce livre a été initialement publié en anglais en 2014. Cette traduction est publiée en accord avec Oxford University Press. L'éditeur est seul responsable de cette traduction à partir de l'œuvre originale et Oxford University Press ne pourra être tenu responsable des erreurs, omissions, inexactitudes ou ambiguïtés dans cette traduction ou de toute perte causée par la confiance accordée à celle-ci.

© Nick Bostrom, 2014

© Traduction en russe, publication en russe, conception. Mann, Ivanov et Ferber LLC, 2016

Ce livre complète bien

Avinash Dixit et Barry Nalbuff

Ken Jennings

Stephen Strogatz

Avant-propos du partenaire

... J'ai un ami », a déclaré Edik. « Il affirme que l'homme est un maillon intermédiaire dont la nature a besoin pour créer la couronne de la création : un verre de cognac avec une tranche de citron.

Arkady et Boris Strugatsky. Le lundi commence samedi

L'auteur estime que la menace mortelle est associée à la possibilité de créer une intelligence artificielle qui surpasse l'esprit humain. Une catastrophe pourrait éclater à la fin du XXIe siècle et dans les décennies à venir. Toute l’histoire de l’humanité le montre : lorsqu’il y a une collision entre un représentant de notre espèce, Homo sapiens, et n’importe qui d’autre habitant notre planète, celui qui est le plus intelligent gagne. Jusqu’à présent, nous avons été les plus intelligents, mais nous n’avons aucune garantie que cela durera éternellement.

Nick Bostrom écrit que si les algorithmes informatiques intelligents apprennent à créer indépendamment des algorithmes encore plus intelligents, et ceux-ci, à leur tour, encore plus intelligents, il y aura une croissance explosive de l'intelligence artificielle, en comparaison avec laquelle les gens ressembleront à peu près à des fourmis à côté des gens d'aujourd'hui, dans un sens intellectuel, bien sûr. Une nouvelle espèce, bien qu'artificielle, mais superintelligente, apparaîtra dans le monde. Peu importe ce qui lui vient à l'esprit, une tentative de rendre tout le monde heureux ou une décision de mettre fin à la pollution anthropique des océans du monde de la manière la plus efficace, c'est-à-dire qu'en détruisant l'humanité, les gens ne pourront toujours pas résister. ce. Aucune chance d'affrontement dans l'esprit du film Terminator, pas de fusillade avec des cyborgs de fer. L'échec et mat nous attend - comme dans un duel entre l'ordinateur d'échecs « Deep Blue » et un élève de première année.

Au cours des cent ou deux dernières années, les progrès de la science ont éveillé chez certains l’espoir de résoudre tous les problèmes de l’humanité, tandis que chez d’autres, ils ont suscité et continuent de susciter une peur effrénée. En même temps, il faut dire que les deux points de vue semblent tout à fait justifiés. Grâce à la science, de terribles maladies ont été vaincues, l'humanité est aujourd'hui capable de nourrir un nombre sans précédent de personnes et, d'un point du globe, on peut arriver à l'opposé en moins d'une journée. Cependant, grâce à la même science, les hommes, utilisant les dernières technologies militaires, se détruisent les uns les autres avec une rapidité et une efficacité monstrueuses.

Une tendance similaire - lorsque le développement rapide de la technologie conduit non seulement à la formation de nouvelles opportunités, mais crée également des menaces sans précédent - que nous observons dans le domaine de la sécurité de l'information. Notre industrie tout entière est née et existe uniquement parce que la création et la distribution massive de choses aussi merveilleuses que les ordinateurs et Internet ont créé des problèmes qui auraient été inimaginables à l’ère pré-informatique. Grâce à l’avènement des technologies de l’information, une révolution s’est produite dans les communications humaines. Il a également été utilisé par divers types de cybercriminels. Et ce n'est que maintenant que l'humanité commence progressivement à prendre conscience de nouveaux risques : de plus en plus d'objets du monde physique sont contrôlés à l'aide d'ordinateurs et de logiciels, souvent imparfaits, pleins de trous et vulnérables ; Alors que de plus en plus de ces objets sont connectés à Internet, les menaces du monde cybernétique deviennent rapidement des problèmes de sécurité physique et potentiellement des problèmes de vie ou de mort.

C'est ce qui rend le livre de Nick Bostrom si intéressant. La première étape pour prévenir les scénarios cauchemardesques (pour un seul réseau informatique ou pour l’humanité entière) est de comprendre de quoi ils pourraient être. Bostrom émet de nombreuses réserves sur le fait que la création d'une intelligence artificielle comparable ou supérieure à l'esprit humain - une intelligence artificielle capable de détruire l'humanité - n'est qu'un scénario probable qui pourrait ne pas se réaliser. Bien sûr, les options sont nombreuses, et le développement de la technologie informatique ne détruira peut-être pas l'humanité, mais nous donnera la réponse à « la question principale de la vie, de l'Univers et de tout » (peut-être que ce sera vraiment le nombre 42, comme dans le roman « Le Guide du voyageur galactique »). Il y a de l’espoir, mais le danger est très sérieux, nous prévient Bostrom. À mon avis, si la possibilité d’une telle menace existentielle pour l’humanité existe, alors elle doit être traitée en conséquence et, afin de la prévenir et de s’en protéger, des efforts communs doivent être déployés à l’échelle mondiale.

Je voudrais terminer mon introduction par une citation du livre de Mikhail Weller « Man in the System » :

Lorsque la science-fiction, c'est-à-dire la pensée humaine encadrée par des images et des intrigues, répète quelque chose pendant longtemps et en détail, eh bien, il n'y a pas de fumée sans feu. Les films d'action hollywoodiens banals sur les guerres entre les peuples et la civilisation des robots contiennent un grain de vérité amère sous l'enveloppe du visionnage commercial.

Lorsqu'un programme transférable d'instincts sera intégré aux robots et que la satisfaction de ces instincts sera intégrée comme un besoin inconditionnel et fondamental, et que cela atteindra le niveau de l'auto-reproduction - alors, les gars, arrêtez de lutter contre le tabac et l'alcool, car il sera temps de boire et de fumer avant Hana pour nous tous.

Evgueni Kaspersky,

Directeur général de Kaspersky Lab

L'histoire inachevée des moineaux

Un jour, au milieu de la nidification, les moineaux, fatigués de plusieurs jours de dur labeur, se sont assis pour se reposer au coucher du soleil et bavarder de ceci et de cela.

« Nous sommes si petits, si faibles. » Imaginez à quel point la vie serait plus facile si nous avions un hibou comme assistant ! – gazouillait rêveusement un moineau. - Elle pourrait nous construire des nids...