traduit à partir de http://www.wired.com/wired/archive/8.04/joy.html par Michel Roudot

Wired 8.04- Avril 2000

Pourquoi l'avenir n'a pas besoin de nous.

Nos techniques les plus puissantes du 21ème siècle - la robotique, le génie génétique et les nanotechnologies - menacent de faire de l'homme une espèce en danger.

Bill Joy

Dès le moment où j'ai commencé à être impliqué dans la création de nouvelles technologies, je me suis senti concerné par leurs dimensions éthiques, mais c'est seulement en automne 1998 que je suis devenu sérieusement conscient de l'importance des dangers qui nous attendent au 21e siècle. Je peux dater le début de mon malaise du jour où j'ai rencontré Ray Kurzweil, l'inventeur justement célèbre de la première machine de lecture destinée aux aveugles et de beaucoup d'autres choses étonnantes.

Ray et moi étions tous deux orateurs à la conférence Telecosm de George Gilder et je l'ai rencontré par hasard dans le bar de l'hôtel après la fin de nos deux sessions. J'étais assis avec John Searle, un philosophe de Berkeley qui étudie la conscience. Tandis que nous parlions, Ray s'est approché et une conversation a commencé, dont le sujet me hante jusqu'à ce jour.

J'avais manqué la conférence de Ray et l'atelier suivant auquel Ray et John avaient participé, et ils reprenaient maintenant la discussion là où ils s'étaient arrêtés, Ray disant que le taux d'amélioration de la technique allait s'accélérer et que nous allions devenir des robots ou fusionner avec des robots ou quelque chose comme ça, et John protestant que cela ne pouvait pas arriver, parce que les robots ne pouvaient pas devenir conscients.

Bien que j'avais déjà entendu une telle conversation auparavant, j'avais toujours estimé que des robots sensibles relevaient de la science-fiction. Mais là j'entendais, de quelqu'un je respectais, un argument fort selon lequel ils étaient une possibilité à court terme. J'étais déconcerté, particulièrement à cause de la capacité prouvée de Ray à imaginer et créer l'avenir. Je savais déjà que de nouvelles techniques comme le génie génétique et la nano-technologie nous donnaient le pouvoir de refaire le monde, mais un scénario réaliste et imminent pour des robots intelligents me stupéfiait.

Il est facile de se lasser de telles percées. Nous entendons presque chaque jour aux informations parler de quelque avance technologique ou scientifique. Mais ceci n'était pas une une prédiction ordinaire. Au bar de l'hôtel, Ray me donna un "preprint" partiel de son prochain livre The Age of Spiritual Machines, qui décrit une utopie qu'il prévoit - dans laquelle les hommes atteignent une quasi-immortalité en devenant un avec la technologie robotique. En le lisant, mon impression de malaise ne fit que s'intensifier; j'étais convaincu qu'il avait dû minimiser les dangers, minimiser la probabilité d'un mauvais résultat en chemin.

Je me trouvai particulièrement troublé par un passage détaillant un scénario dystopique :

Le Nouveau Défi Luddite

Admettons d'abord que les informaticiens réussissent à développer des machines intelligentes qui peuvent tout faire mieux que les humains. Dans ce cas tout le travail sera vraisemblablement fait par d'énormes systèmes fortement organisés de machines et aucun effort humain ne sera nécessaire. Deux cas seulement pourraient se produire. On pourrait permettre aux machines de prendre toutes leurs décisions sans intervention humaine, ou bien le contrôle humain des machines pourrait être conservé.

Si on permet aux machines de prendre toutes leurs décisions elles-mêmes, nous ne pouvons pas faire de conjectures quant aux résultats, parce qu'il est impossible de deviner comment de telles machines pourraient se comporter. Nous affirmons seulement que le destin de la race humaine serait à la merci des machines. On pourrait argumenter que la race humaine ne sera jamais assez idiote pour remettre tout le pouvoir à des machines. Mais nous ne suggérons aucunement que la race humaine livrerait volontairement le pouvoir aux machines, ni que les machines se saisiraient volontairement du pouvoir. Ce que nous suggérons réellement est que la race humaine pourrait facilement se permettre de dériver dans une position où elle dépendrait tant des machines qu'il n'aurait aucun choix réel, si ce n'est accepter toutes les décisions des machines. Comme la société et les problèmes auxquels elle fait face sont devenus de plus en plus complexes et que les machines deviennent de plus en plus intelligentes, les gens laisseront des machines prendre de plus en plus de décisions pour eux, simplement parce que les décisions proposées par les machines apporteront de meilleurs résultats. Finalement un stade pourra être atteint auquel les décisions nécessaires pour maintenir le fonctionnement du système seront si complexes que les gens seront incapables de les élaborer intelligemment. À ce stade les machines auront le contrôle effectif. Les gens ne seront même pas capables d'éteindre les machines, parce qu'ils dépendront tellement d'elles que leur arrêt équivaudrait à un suicide.

D'un autre côté il est possible que le contrôle humain des machines puisse être conservé. Dans ce cas l'homme moyen pourrait avoir le contrôle de certaines machines privées, comme sa voiture ou son ordinateur individuel, mais le contrôle sur les grands systèmes de machines sera dans les mains d'une élite minuscule - de la même façon qu'aujourd'hui, mais avec deux différences. En raison de l'amélioration des techniques l'élite aura un contrôle plus grand sur les masses; et comme le travail humain ne sera plus nécessaire les masses seront superflues, un fardeau inutile pour le système. Si l'élite est impitoyable elle pourra simplement décider d'exterminer la plus grande part de l'humanité. Si elle fait preuve d'humanité elle pourra utiliser la propagande ou d'autres techniques psychologiques ou biologiques pour réduire le taux de natalité jusqu'à ce que la plus grande part de l'humanité s'éteigne, laissant le monde à l'élite. Ou, si l'élite consiste en libéraux au coeur tendre, ils peuvent décider de jouer le rôle de bons bergers de la race humaine. Ils s'occuperont de ce que les besoins physiques de chacun soient satisfaits, que tous les enfants soint élevés dans des conditions psychologiquement hygiéniques, que chacun ait un passe-temps sain pour le tenir occupé et que quelqu'un qui devienne insatisfait subisse un "traitement" pour guérir son "problème". Bien sûr, la vie sera à ce point sans but que les gens devront être biologiquement ou psychologiquement modifiés soit pour supprimer leur pulsion de dominance ou pour leur faire "sublimer" leur pulsion de dominance dans un passe-temps inoffensif. Ces êtres humains modifiés peuvent être heureux dans une telle société, mais ils ne seront très certainement pas libres. Ils auront été réduits au statut d'animaux domestiques.1

Dans le livre, on ne découvre qu'en tournant la page que l'auteur de ce passage est Théodore Kaczynski - Unabomber. Je ne suis aucunement un apologiste de Kaczynski. Ses bombes ont tué trois personnes pendant une campagne de terreur de 17 ans et ont blessé plusieurs autres. Une de ses bombes a gravement blessé mon ami David Gelernter, un des informaticiens les plus brillants et les plus visionnaires de notre temps. Comme beaucoup de mes collègues, j'ai senti que j'aurais facilement pu être la cible suivante d'Unabomber.

Les actions de Kaczynski étaient meurtrières et, à mon avis, d'un fou criminel. Il est clairement un Luddite, mais se limiter à cette affirmation n'écarte pas son argument; aussi difficile qu'il soit pour moi de le reconnaître, il y a un certain mérite dans le raisonnement de ce passage. Je me suis senti contraint d'y faire face.

La vision dystopienne de Kaczynski décrit des conséquences fortuites, un problème bien connu avec la conception et l'utilisation de la technique qui est clairement en rapport avec la loi de Murphy - "Tout ce qui peut mal tourner, finit par tourner mal". En réalité, c'est la loi de Finagle, ce qui montre d'ailleurs que Finagle avait raison). Notre abus d'antibiotiques a mené à ce qui est peut être le plus gros problème de ce type jusqu'ici : l'apparition de bactéries résistantes aux antibiotiques et beaucoup plus dangereuses. Des choses semblables sont arrivées quand les tentatives d'éliminer des moustiques paludéens en utilisant le DDT ont entraîné leur résistance au DDT; les parasites paludéens ont de même acquis des gènes "multi résistants aux médicaments"2.

La cause de beaucoup de surprises de ce genre semble claire : les systèmes impliqués sont complexes, impliquant des interaction et des rétroactions entre beaucoup de parties. N'importe quel changement dans un tel système provoque une cascade de conséquences difficiles à prévoir; C'est particulièrement vrai quand des actions humaines sont impliquées.

J'ai commencé à montrer à des amis la citation de Kaczynski dans The Age of Spiritual Machines; je leur remettais le livre de Kurzweil, les laissais lire la citation et observais ensuite leur réaction quand ils découvraient qui l'avait écrit. À peu près en même temps, j'ai trouvé le livre d'Hans Moravec Robot: Mere Machine to Transcendent Mind. Moravec est un des leaders dans la recherche en robotique et fut un des fondateurs du plus grand programme de recherche de robotique du monde, à l'Université Carnegie Mellon. Robot m'a donné plus de matière à essayer sur mes amis - matière qui supportait étonnamment l'argumentation de Kaczynski. Par exemple :

Le Court Terme (Début des années 2000)

Les espèces biologiques ne réchappent presque jamais de rencontres avec des concurrents supérieurs. Il y a dix millions d'années, les Amériques du Sud et du Nord étaient séparées par un isthme de Panama submergé. L'Amérique du Sud, comme l'Australie d'aujourd'hui, était peuplée par des mammifères marsupiaux, y compris les équivalents à poche de rats, de cerfs et de tigres. Quand l'isthme connectant l'Amérique du Nord et du Sud émergea, il ne fallut que quelques milliers d'années pour que les espèces placentaires du nord, avec des métabolismes et des systèmes reproducteurs et nerveux légèrement plus efficaces, déplacent et éliminent presque tous les marsupiaux du sud.

Dans un marché complètement libre, des robots supérieurs affecteraient sûrement les humains comme les placentaires nord-américains ont affecté les marsupiaux sud-américains (et comme les humains ont affecté d'innombrables espèce). Les industries robotisées rivaliseraient vigoureusement entre elles pour les matériaux, l'énergie et l'espace, amenant progressivement le prix de ceux-ci hors de portée des humains. Incapables de se payer leurs besoins vitaux, les humains biologiques seraient repoussés hors de l'existence.

Il y a probablement un peu de répit, parce que nous ne vivons pas dans un marché complètement libre. Le Gouvernement contraint le comportement du marché, particulièrement en imposant des taxes. Judicieusement appliquée, la contrainte gouvernementale pourrait aider les populations humaines à profiter des fruits du travail des robots, peut-être pour longtemps.

Une dystopie typique - et Moravec ne fait que commencer. Il continue en discutant comment notre travail principal du 21e siècle sera "d'assurer une collaboration continue des industries robotisées" en passant des lois décrétant qu'ils doivent être "gentils", 3 et en décrivant à quel point un humain pourrait être sérieusement dangereux "une fois transformé en un robot superintelligent déchaîné". L'avis de Moravec est que les robots nous succéderont finalement - que l'humanité fait clairement face à son extinction.

Je décidai qu'il était temps de parler à mon ami Danny Hillis. Danny est devenu célèbre comme co-fondateur de Thinking Machines Corporation, qui a construit un super-ordinateur parallèle très puissant. Malgré ma fonction actuelle de Directeur Scientifique de Sun Microsystems, je suis plus un architecte informatique qu'un scientifique et je respecte les connaissances de Danny en sciences de l'information et physiques plus que celles d'aucune autre personne de ma connaissance. Danny est aussi un futuriste très apprécié qui pense à long terme - il y a quatre ans il a lancé le Long Now Foundation, qui construit une horloge conçue pour durer 10,000 ans, une tentative d'attirer l'attention sur la vue pitoyablement courte de notre société. (Voir "Test of Time," Wired 8.03, page 78.)

J'ai donc pris l'avion pour Los Angeles dans le but exprès de dîner avec Danny et sa femme, Pati. Je déroulai ma routine maintenant familière, débitant les idées et les passages que j'avais trouvés si inquiétants. La réponse de Danny - adressée spécifiquement au scénario de Kurzweil des gens fusionnant avec des robots - est venue rapidement et m'a tout à fait étonné. Il a dit, simplement, que les changements viendraient graduellement et que nous nous habituerions à eux.

Mais je suppose que je n'ai pas été totalement abasourdi. J'avais vu une citation de Danny dans le livre de Kurzweil dans lequel il disait, "j'aime mon corps comme n'importe qui, mais si je peux vivre 200 ans avec un corps de silicium, j'achète". Il semblait qu'il était en paix avec ce processus et ses risques associés, tandis que je ne l'étais pas.

Tout en parlant et en pensant sur Kurzweil, Kaczynski et Moravec, je me suis soudainement rappelé un roman j'avais lu il y a presque 20 ans - The White Plague, de Frank Herbert - dans lequel un biologiste moléculaire est rendu fou par le meurtre insensé de sa famille. Pour se venger il élabore et dissémine une peste nouvelle et fortement contagieuse qui tue largement, mais sélectivement. (Nous avons de la chance que Kaczynski était un mathématicien, et pas un biologiste moléculaire). Je me suis aussi souvenu du Borg de Star Trek, une ruche de créatures en partie biologiques, en partie robotisées avec une forte tendance destructrice. Des désastres comme le Borg sont un produit de base de la science-fiction, pourquoi alors ne m'étais je pas senti plus tôt plus concerné par de telles dystopies robotiques ? Pourquoi d'autres gens ne se sont ils pas sentis plus concernés par ces scénarios de cauchemar ?

Une partie de la réponse se trouve certainement dans notre attitude envers la nouveauté - dans notre biais vers la familiarité instantanée et l'acceptation inconditionnelle. Habitués à vivre avec des percées scientifiques presque de routine, il nous reste à nous habituer au fait que les techniques les plus captivantes du 21ème siècle - la robotique, le génie génétique et les nanotechnologies - posent une menace différente de celle des techniques qui sont apparues auparavant. Spécifiquement, les robots, les organismes génétiquement modifiés et les nanorobots partagent un facteur d'amplification dangereux : Ils peuvent s'auto-reproduire. Une bombe explose seulement une fois - mais un robot peut en devenir plusieurs et on peut en perdre rapidement le contrôle.

Beaucoup de mon travail pendant les 25 dernières années a concerné la gestion de réseaux d'ordinateurs, où l'envoi et la réception de messages créent des occasions de réplication explosive. Mais alors que la réplication dans un ordinateur ou un réseau informatique peut être gênante, au pire elle met hors de service une machine ou plante un service de réseau ou un réseau. L'auto-reproduction non contrôlée dans ces techniques plus récentes fait courir un risque beaucoup plus grand : un risque de dégâts substantiels dans le monde physique.

Chacune de ces techniques offre aussi une promesse indicible : la vision d'une quasi-immortalité que Kurzweil voit dans ses rêves robotiques nous pousse en avant; l'ingénierie génétique pourrait bientôt fournir des traitements, sinon des franches guérisons, pour la plupart des maladies; et la nanotechnologie et la nanomédecine peuvent viser encore plus de maux. Utilisées ensemble elles pourraient significativement prolonger notre durée de vie moyenne et améliorer notre qualité de vie. Pourtant, avec chacune de ces techniques, une séquence de petites avancées individuellement raisonnables mène à une accumulation d'un grand pouvoir et, simultanément, d'un grand danger.

Qu'est-ce qui était différent au 20ème siècle ? Les techniques à la base des armes de destruction massive (ADM) - nucléaire, biologique et chimique (NBC) - étaient certainement puissantes et les armes une énorme menace. Mais la fabrication des armes nucléaires nécessitait, au moins pendant un certain temps, l'accès tant à des matières premières rares - en fait, pratiquement indisponibles - qu'à de l'information fortement protégée; les programmes d'armes biologiques et chimiques avaient aussi tendance à exiger des activités à grande échelle.

Les techniques du 21ème siècle - génétique, nanotechnologie et robotique (GNR) - sont si puissantes qu'elles peuvent couvrir des nouvelles classes entières d'accidents et d'abus. D'une façon particulièrement dangereuse, pour la première fois, ces accidents et abus sont largement à la portée d'individus ou de petits groupes. Ils n'exigeront pas de grands équipements ou des matières premières rares. Le savoir seul suffira à leur utilisation.

Ainsi nous avons la possibilité non simplement d'armes de destruction massive, mais de destruction massive permise par la connaissance (DMC), cette capacité de destruction énormément amplifiée par le pouvoir d'auto-reproduction.

Je pense qu'il n'est pas exagéré de dire que nous sommes sur le point de faire progresser la perfection du mal extrême, un mal dont les possibilités s'étendent bien au delà des armes de destruction massive léguée aux Etats-nations, jusqu'à fournir un pouvoir étonnant et épouvantable à des individus extrémistes.
 

Rien dans la façon dont je m'étais impliqué dans l'informatique ne suggérait que j'allais faire face à ces sortes de questions.

Ma vie a été dirigée par un besoin profond de poser des questions et de trouver des réponses. Quand j'avais 3 ans, je lisais déjà, mon père m'a donc emmené à l'école primaire, où il m'a assis sur les genoux du principal pour lui lire une histoire. J'ai commencé l'école tôt, puis sauté un niveau et me suis évadé dans les livres - j'étais incroyablement motivé pour apprendre. Je posais des tas de questions, au point de rendre souvent les adultes fous.

Adolescent j'étais très intéressé par la science et la technique. Je voulais être radio-amateur, mais n'avais pas l'argent pour acheter l'équipement. La radio-amateur était l'Internet de cette époque : provoquant une forte dépendance et tout à fait solitaire. Questions d'argent mises à part, ma mère freina des quatre fers - je ne serais pas radio-amateur; j'étais déjà assez antisocial.

Je n'avais peut être pas beaucoup d'amis proches, mais je baignais dans les idées. Arrivé au lycée, j'avais découvert les grands auteurs de science-fiction. Je me souviens particulièrement du Have Spacesuit Will Travel de Heinlein et du  I, Robot d'Asimov, avec ses Trois Lois de la Robotique. J'étais enchanté par les descriptions de navigations spatiales et voulus avoir un télescope pour regarder les étoiles; comme je n'avais aucun argent pour en acheter ou faire un, je pris les livres sur la fabrication des télescopes à la bibliothèque et les lus à la place. Je m'envolais en imagination.

Les jeudis soir mes parents allaient au bowling et nous les gosses restions seuls. C'était le soir du Star Trek original de Gene Roddenberry et le programme me faisait une grande impression. J'en vins à accepter sa notion que les humains avaient un avenir dans l'espace, dans le style des Westerns, avec de grands héros et des aventures. La vision de Roddenberry des siècles à venir comportait des valeurs morales fortes, incarnées dans des codes comme la Directive Principale : ne pas s'immiscer dans le développement de civilisations technologiquement moins avancées. Cela avait pour moi un attrait incroyable; des gens moraux, non des robots, dominaient cet avenir et le rêve de Roddenberry est devenu une part du mien.

J'excellais en mathématiques au lycée et quand je suis allé à l'Université du Michigan comme étudiant en licence technique j'ai pris le programme d'études avancé des majors de mathématiques. La résolution de problèmes mathématiques était un défi passionnant, mais quand j'ai découvert les ordinateurs j'ai trouvé quelque chose de beaucoup plus intéressant : une machine dans laquelle vous pouviez mettre un programme qui essayait de résoudre un problème, après quoi la machine vérifiait rapidement la solution. L'ordinateur avait une notion claire du correct et de l'incorrect, du vrai et du faux. Mes idées étaient elles correctes ? La machine pouvait me le dire. C'était très séduisant.

J'ai eu assez de chance pour obtenir un travail à programmer les premiers super-ordinateurs et ai découvert la puissance étonnante des grandes machines pour simuler numériquement des conceptions complexes. Quand j'ai préparé mon doctorat à l'UC Berkeley au milieu des années 1970, j'ai commencé à rester travailler tard, souvent toute la nuit, à inventer de nouveaux mondes à l'intérieur des machines. Résoudre des problèmes. Ecrire le code qui demandait si fort à être écrit.

DansThe Agony and the Ecstasy, le roman biographique d'Irving Stone sur  Michel-Ange, Stone décrit de façon éclatante comment Michel-Ange sortit les statues de la pierre, "brisant le charme du marbre", en taillant à partir des images présentes dans son esprit 4. Dans mes moments les plus extatiques, le logiciel dans l'ordinateur apparaissait de la même manière. Une fois que je l'avais imaginé  dans mon esprit je sentais qu'il était déjà là dans la machine, attendant d'être libéré. Rester éveillé toute la nuit semblait un prix modique à payer pour le libérer - pour donner forme concrète aux idées.

Après quelques années à Berkeley j'ai commencé à diffuser un peu du logiciel que j'avais écrit - un système d'instruction Pascal, des utilitaires Unix et un éditeur de texte appelé vi (qui est toujours, à ma surprise, largement utilisé plus de 20 ans plus tard) - à d'autres qui avaient aussi des petits PDP-11 et des mini-ordinateurs VAX. Ces aventures dans le logiciel sont finalement devenues la version de Berkeley du système d'exploitation Unix, qui est devenu un "succès désastreux" personnel - tant de personnes l'ont voulu que je n'ai jamais fini mon PhD. Au lieu de cela j'ai obtenu un poste à la Darpa pour mettre Berkeley Unix sur Internet et le corriger pour le rendre fiable et exécuter correctement des grandes applications de recherche. Tout cela était beaucoup de plaisir et très intéressant. Et, franchement, je n'ai vu aucun robot ici, ou n'importe où ailleurs.

Cependant, au début des années 1980, je me noyais. Les versions d'Unix étaient très couronnées de succès et mon petit projet d'une personne eut rapidement de l'argent et un certain personnel, mais le problème à Berkeley était toujours l'espace de bureau plutôt que l'argent - il n'y avait pas de place pour lle personnel que le projet nécessitait, aussi quand les autres fondateurs de Sun Microsystems apparurent je sautai sur l'occasion de les rejoindre. Chez Sun, les longs horaires se continuèrent dans les premiers jours des stations de travail et des ordinateurs individuels et j'ai apprécié de participer à la création des technologies avancées des microprocesseurs et des techniques Internet comme Java et Jini.

De tout cela, je crois qu'il est clair que je ne suis pas un Luddite. J'ai toujours eu, au contraire, une croyance forte dans la valeur de la recherche scientifique de la vérité et dans la capacité de la grande ingénierie à apporter le progrès matériel. La Révolution Industrielle a incommensurablement amélioré la vie de chacun pendant les deux derniers siècles et j'ai toujours attendu que ma carrière implique la construction de solutions valables à des problèmes réels, un problème à la fois.

Je n'ai pas été déçu. Mon travail a eu plus d'impact que je n'avais jamais espéré et a été plus largement utilisé que je n'aurais pu m'y être raisonnablement attendu. J'ai passé les 20 dernières années à toujours essayer de trouver comment rendre les ordinateurs aussi fiables que je voulais qu'ils le soient (ils n'y sont pas encore vraiment) et comment les rendre simples d'utilisation (un but où j'ai eu encore moins de succès). Malgré quelques progrès, les problèmes qui restent semblent encore plus intimidants.

Mais tandis que j'étais conscient des dilemmes moraux environnant les conséquences de la technologie dans des domaines comme la recherche militaire, je ne m'attendais pas à être confronté à de telles problèmes dans mon domaine propre, ou du moins pas si tôt.
 
 

Il est peut-être toujours difficile de voir l'impact le plus important quand vous êtes dans le tourbillon d'un changement. L'échec à comprendre les conséquences de nos inventions tandis que nous sommes dans le ravissement de la découverte et de l'innovation semble être une faute commune des scientifiques et des technologues; nous sommes depuis longtemps poussés par le besoin de savoir qui est la nature même de la recherche scientifique, sans nous arrêter pour remarquer que le progrès vers des techniques plus récentes et plus puissantes peut acquérir une vie propre.

Je me suis depuis longtemps rendu compte que les grandes avancées dans la technologie de l'information ne viennent pas du travail d'informaticiens, d'architectes d'ordinateurs, ou d'ingénieurs en électronique, mais de celui de physiciens. Les physiciens Stéphane Wolfram et Brosl Hasslacher m'ont introduit, au début des années 1980, à la Théorie du chaos et des systèmes non-linéaires. Dans les années 1990, j'ai appris sur les systèmes complexes par des conversations avec Danny Hillis, le biologiste Stuart Kauffman, le Nobel de physique Murray Gell-Mann et d'autres. Plus récemment, Hasslacher et l'ingénieur électronicien et physicien Mark Reed m'ont donné des idées des possibilités incroyables de l'électronique moléculaire.

Dans mon propre travail, comme coconcepteur de trois architectures de microprocesseur - SPARC, picoJava et MAJC - et comme concepteur de plusieurs de leurs mises en oeuvre, il m'a été donné une connaissance profonde et de première main de la loi de Moore. Pendant des décennies, la loi de Moore a correctement prévu le taux exponentiel d'amélioration de la technique des semi-conducteurs. Jusqu'à l'année dernière je croyais que le taux des progrès prévus par la loi de Moore pourrait continuer seulement jusqu'à grossièrement 2010, quand quelques limites physiques commenceraient à être atteintes. Il n'était pas évident pour moi qu'une nouvelle technologie arriverait à temps pour permettre à la performance de continuer à progresser sans à-coup.

Mais à cause du récent progrès rapide et radical dans l'électronique moléculaire - où des atomes individuels et des molécules remplacent les transistors dessinés par lithographie - et les techniques à l'échelle nanométrique associées, nous devrions être capables de respecter ou excéder le taux de progrès de la loi de Moore pendant encore 30 ans. D'ici 2030, nous serons probablement capable de construire des machines, en quantité, un million de fois aussi puissantes que les ordinateurs individuels d'aujourd'hui - suffisamment pour mettre en oeuvre les rêves de Kurzweil et Moravec.

Quand cette énorme puissance informatique sera combinée avec les avancées manipulatrices des sciences physiques et les découvertes nouvelles et profondes de la génétique, un énorme pouvoir de transformation sera déchaîné. Ces combinaisons ouvrent l'occasion de complètement reconcevoir le monde, pour le meilleur ou pour le pire : les processus reproductifs et évolutifs qui étaient limités dans le monde naturel sont sur le point de devenir le royaume des efforts humains.

En concevant du logiciel et des microprocesseurs, je n'ai jamais eu le sentiment que je concevais une machine intelligente. Le logiciel et le matériel sont si fragiles et les capacités à "penser" de la machine si clairement absentes que, même en tant que possibilité, cela semblait toujours très lointain dans l'avenir.

Mais maintenant, avec la perspective d'une puissance de calcul de niveau humain dans environ 30 ans, une nouvelle idée nait : que je sois peut être en train de travailler à créer les outils qui permettront la construction de la technologie qui remplacera peut être notre espèce. Comment me sens-je en y pensant ? Très inconfortable. Ayant lutté toute ma carrière pour construire des systèmes logiciels fiables, il me semble plus que probable que cet avenir ne se mettra pas au point aussi bien que certaines personnes peuvent l'imaginer. Mon expérience personnelle suggère que nous avons tendance à surestimer nos capacités de conception.

Étant donné le pouvoir incroyable de ces nouvelles techniques, ne devrions nous pas demander comment nous pouvons au mieux coexister avec elles ? Et si notre propre extinction est un résultat probable, ou même possible, de notre développement technique, ne devrions nous pas procéder avec beaucoup de précautions ?
 
 

Le rêve de la robotique est, d'abord, que des machines intelligentes peuvent faire notre travail pour nous, nous permettant des vies de loisir, nous permettant de retrouver l'Eden. Pourtant dans son histoire de telles idées, Darwin Among the Machines, George Dyson avertit : "dans le jeu de la vie et de l'évolution il y a trois joueurs à la table : les êtres humains, la nature et les machines. Je suis fermement du côté de nature. Mais la nature, je le soupçonne, est du côté des machines". Comme nous l'avons vu, Moravec est d'accord, croyant que nous pourrions bien ne pas réchapper de la rencontre avec l'espèce supérieure des robots.

Quand un robot aussi intelligent pourrait-il être construit ? Les avancées à venir dans la puissance informatique semblent le rendre possible avant 2030. Et une fois qu'un robot intelligent existe, il n'y a qu'un petit pas vers une espèce de robots - vers un robot intelligent capable de faire des copies améliorées de lui même.

Un deuxième rêve de la robotique est que nous nous remplacerons nous mêmes graduellement par notre technologie robotisée, atteingnant une quasi-immortalité en téléchargeant nos consciences; c'est à ce processus que Danny Hillis pense que nous nous habituerons graduellement et c'est lui que Ray Kurzweil détaille élégamment dans The Age of Spiritual Machines. (Nous commençons à en voir des suggestions avec l'implantation de dispositifs informatiques dans le corps humain, comme illustré sur la couverture  de Wired 8.02.)

Mais si nous sommes téléchargés dans notre technologie, quelles sont les chances que nous soyons ensuite nous-mêmes ou même humains ? Il me semble beaucoup plus probable qu'une existence robotique ne ressemblerait à l'humaine en aucun sens que nous puissions comprendre, que les robots ne soient en aucune manière nos enfants, que sur ce chemin notre humanité puisse bien être perdue.

Le génie génétique promet de révolutionner l'agriculture en augmentant les rendements des récoltes tout en réduisant l'utilisation de pesticides; de créer des dizaines de milliers de nouvelles espèces de bactéries, de plantes, des virus et d'animaux; de remplacer la reproduction, ou la compléter, par le clonage; de créer des remèdes pour beaucoup de maladies, augmentant notre durée de vie et notre qualité de vie; et encore bien plus. Nous savons maintenant avec certitude que ces changements profonds des sciences biologiques sont imminents et défieront toutes nos notions de ce qu'est la vie.

Les techniques telles que le clonage humain ont en particulier éveillé notre conscience sur les questions morales et éthiques profondes auxquelles nous faisons face. Si, par exemple, nous devions nous reconstruire en plusieurs espèces séparées et inégales par le pouvoir du génie génétique, alors nous menacerions la notion d'égalité qui est la pierre angulaire même de notre démocratie.

Étant donné le pouvoir incroyable du génie génétique, ce n'est pas une surprise qu'il y a des problèmes significatifs de sécurité dans son utilisation. Mon ami Amory Lovins a récemment coécrit, avec Hunter Lovins, un éditorial qui fournit une vue écologique de certains de ces dangers. Parmi leurs soucis : le fait que "la nouvelle botanique justifie le développement de plantes par leur succès économique, et non évolutionnaire". (Voir "A Tale of Two Botanies", page 247). Amory a consacré sa longue carrière à l'efficacité dans l'utilisation de l'énergie et des ressource en prenant une vue globale des systèmes construits par l'homme; une telle vue globale trouve souvent des solutions simples, intelligentes aux problèmes sinon apparemment difficiles et s'applique utilement ici aussi.

Après la lecture de l'éditorial de Lovins, j'ai vu un éditorial de Gregg Easterbrook dans le "New-York Times" (19 novembre 1999) sur les Organismes Génétiquement Modifiés, sous le titre : "Nourriture de l'avenir : Un jour, le riz contiendra de la vitamine A. À moins que les Luddites ne gagnent."

Amory et Hunter Lovins sont ils des Luddites ? Certainement pas. Je pense que nous reconnaîtrions tous que le riz doré, avec sa vitamine A intégrée, est probablement une bonne chose, s'il est développé avec le soin et le respect appropriés pour les dangers probables liés aux échanges de gènes à travers la barrière d'espèce.

La conscience des dangers inhérents au génie génétique commence à grandir, comme reflété dans l'éditorial de Lovins. Le grand public est conscient et gêné par les produits alimentaires génétiquement modifiés et semble rejeter la notion que l'on devrait permettre à de tels produits alimentaires de ne pas être étiquetés.

Mais la technique du génie génétique en est déjà très loin. Comme les Lovins le notent, l'USDA a déjà approuvé environ 50 organismes génétiquement modifiés pour une production illimitée; plus de la moitié du soja au monde et un tiers du maïs contiennent maintenant des gènes d'autres formes de vie.

Bien qu'il y ait beaucoup de questions importantes ici, mon principal souci avec le génie génétique est plus étroit : qu'il donne le pouvoir - que ce soit militairement, accidentellement, ou dans un acte terroriste délibéré - de créer une Peste Blanche.

Les nombreux miracles des nanotechnologies ont été d'abord été imaginées par le Nobel de physique Richard Feynman dans un discours qu'il donna en 1959, et qui fut par la suite publié sous le titre "Il y a Beaucoup de Place en Bas". Le livre qui a fait une grande impression sur moi, au milieu des années 80, était Engines of Creation d'Eric Drexler, dans lequel il décrit joliment comment la manipulation de la matière au niveau atomique pourrait créer un avenir utopique d'abondance, où à peu près tout pourrait être fait à bon marché et presque n'importe quelle maladie imaginable ou problème physique pourraient être résolus utilisant la nanotechnologie et l'Intelligence Artificielle.

Un livre subséquent, Unbounding the Future: The Nanotechnology Revolution, que Drexler coécrivit, imagine certains des changements qui pourraient avoir lieu dans un monde où nous aurions des "assembleurs" au niveau moléculaire. Les assembleurs pourraient rendre possible l'électricité solaire à incroyablement bon marché, des remèdes contre le cancer et le rhume de cerveau par l'augmentation du système immunitaire humain, le nettoyage essentiellement complet de l'environnement, des super-ordinateurs de poche incroyablement bons marché - en fait, n'importe quel produit serait manufacturable par des assembleurs à un coût pas plus élevé que celui du bois - le vol spatial plus accessible que le voyage transocéanique aujourd'hui et la restauration d'espèces éteintes.

Je me rappelle m'être senti confiant dans la nanotechnologie après avoir lu Engines of Creation. En tant que technologue, il m'a donné une sensation de calme - c'est-à-dire que la nanotechnologie nous a montré qu'un progrès incroyable était possible et en fait peut-être inévitable. Si la nanotechnologie était notre avenir, alors je ne me sentais pas pressé de résoudre autant de problèmes aujourd'hui. J'atteindrais l'avenir utopique de Drexler en temps voulu; je pourrais aussi bien profiter plus de la vie ici et maintenant. Cela n'a aucun sens, étant donné sa vision, de rester éveillé toute la nuit, tout le temps.

La vision de Drexler m'a aussi apporté beaucoup de bon amusement. Il m'arrivait de temps en temps de décrire les miracles des nanotechnologies à d'autres qui n'en avaient pas entendu parler. Après les avoir taquinés avec toutes les choses que Drexler décrit je leur donnais un devoir de maison : "Utilisez la nanotechnique pour créer un vampire; pour des crédits supplémentaires créez un antidote."

Avec ces merveilles sont venus des dangers clairs, dont j'étais intensément conscient. Comme je l'ai dit à une conférence sur les nanotechnologies en 1989, "Nous ne pouvons pas simplement faire notre science sans nous inquiéter de ces questions éthiques" 5. Mais mes conversations suivantes avec des physiciens m'ont convaincu que les nanotechnologies pourraient ne même pas fonctionner - ou, au moins, qu'elles ne fonctionneraient pas dans un avenir prévisible. Peu après je m'installai au Colorado, et le centre de mon travail se déplaça sur le logiciel pour Internet, spécifiquement sur des idées qui sont devenues Java et Jini.

Et puis, l'été dernier, Brosl Hasslacher me dit que l'électronique moléculaire à échelle nanométrique était maintenant utilisable. C'était entièrement nouveau, au moins pour moi et je pense pour beaucoup de personnes - et ça a radicalement changé mon avis sur la nanotechnologie. Ca m'a renvoyé à Engines of Creation. En relisant le travail de Drexler après plus de 10 ans, je fus inquiet de me rendre compte à quel point je m'étais peu souvenu de sa longue section appelée "Dangers et Espoirs", incluant une discussion sur la façon dont les nanotechnologies peuvent devenir des "moteurs de destruction". En effet, dans ma deuxième lecture aujourd'hui de cet avertissement, je suis frappé par la naïveté de certains des garde-fous proposés par Drexler, et à quel point je juge maintenant les dangers tellement plus grands qu'ils lui semblaient alors. (Ayant prévu et décrit beaucoup de problèmes techniques et politiques liés aux nanotechnologies, Drexler a fondé le Foresight Institute à la fin des années 1980 "pour aider à préparer la société aux techniques avancées à venir" - particulièrement, les nanotechnologies).

La percée qui permettra les assembleurs semble tout à fait probable dans les 20 ans à venir. L'électronique moléculaire - le nouveau sous-domaine de la nanotechnique où des molécules individuelles sont des éléments de circuit - devrait mûrir rapidement et devenir énormément lucrative dans cette décennie, causant un grand investissement incrémental dans toutes les nanotechnologies.

Malheureusement, comme avec la technologie nucléaire, il est beaucoup plus facile de créer des utilisations destructrices que constructives des nanotechnologies. La nanotechnique a des utilisations militaires et terroristes claires et vous n'avez pas besoin d'être suicidaire pour diffuser un dispositif nanotechnologique massivement destructif - de tels dispositifs peuvent être construits pour être sélectivement destructifs, affectant, par exemple, seulement un certain secteur géographique ou un groupe humain génétiquement distinct.

Une conséquence immédiate du marché Faustien pour l'obtention du grand pouvoir de la nano-technique consiste en ce que nous courons un risque grave - le risque que nous puissions détruire la biosphère dont toute vie dépend.

Comme Drexler l'explique :

Des "plantes" avec des "feuilles" pas plus efficaces que les cellules solaires d'aujourd'hui pourraient rivaliser efficacement avec les plantes réelles, remplissant la biosphère d'un feuillage non comestible. Des "bactéries" omnivores dures pourraient rivaliser efficacement avec les bactéries réelles : elles pourraient se répandre comme le pollen, se reproduire rapidement et réduire la biosphère en poussière en quelques jours. Des réplicateurs dangereux pourraient facilement être trop durs, trop petits et se répandre trop rapidement pour être arrêtés - au moins si nous ne nous y préparons pas. Nous avons assez de difficultés à contrôler les virus et des mouches à fruit.

Parmi les spécialistes des nanotechnologies, cette menace est maintenant nommée "le problème de la gelée grise (gray goo)". Bien que les masses de duplicateurs non contrôlés n'aient pas besoin d'être grises ou visqueuses, le terme "la gelée grise" souligne que les duplicateurs capables d'effacer la vie pourraient être moins inspirants qu'une simple espèce de chiendent. Ils se peut qu'ils soient supérieurs dans un sens évolutionnaire, mais cela n'implique pas de qu'ils soient de valeur.

La menace de la gelée grise rend un point parfaitement clair : Nous ne pouvons pas nous permettre certaines sortes d'accidents avec des assembleurs qui se reproduisent.

La gelée grise serait sûrement une fin déprimante à notre aventure humaine sur la Terre, bien pire que le simple feu ou la glace et elle pourrait provenir d'un simple accident de laboratoire.6 Oops.
 
 

C'est surtout le pouvoir d'auto-reproduction destructrice dans la génétique, la nano-technique et la robotique (GNR) qui devrait nous donner à réfléchir. L'auto-reproduction est, d'une part, le modus operandi du génie génétique, qui utilise la machinerie de la cellule pour reproduire ce qu'il a conçu et, d'autre part le danger principal à la base de la gelée grise dans la nano-technique. Les histoires de robots pris d'un accès de folie furieuse comme le Borg, se reproduisant ou mutant pour échapper aux contraintes morales imposées par leurs créateurs, sont bien établis dans nos livres et films de science-fiction. Il est même possible que l'auto-reproduction puisse être plus fondamentale que nous ne l'avions pensé et donc plus difficile - ou même impossible - à contrôler. Un article récent par Stuart Kauffman dans Nature intitulé "Self-Replication: Even Peptides Do It" discute la découverte qu'un peptide à 32 acides aminés peut "autocatalyser sa synthèse propre." Nous ne savons pas à quel point cette capacité est répandue, mais Kauffman note qu'elle peut faire supposer "une voie pour l'auto-reproduction de systèmes moléculaires sur une base beaucoup plus large que l'union des paires de base de Crick et Watson". 7

En vérité, nous avons eu en main depuis des années des avertissements sur les dangers inhérents à une connaissance répandue des techniques GNR - de la possibilité que la connaissance suffise à permettre une destruction de masse. Mais ces avertissements n'ont pas été largement rendus publics; les discussions publiques ont été clairement inadéquates. On ne fait pas de profit en divulguant les dangers.

Les techniques nucléaire, biologique et chimique (NBC) utilisées dans les armes de destruction massive du 20ème siècle étaient et sont en grande partie militaires, développées dans des laboratoires d'état. Par contraste, les techniques GNR du 21ème siècle ont des utilisations commerciales claires et sont développées presque exclusivement par des entreprises privées. Dans cet âge de mercantilisme triomphant, la technologie - avec la science comme servante - produit une série d'inventions presque magiques qui sont les plus phénoménalement lucratives jamais vues. Nous sommes agressivement à la poursuite des promesses de ces nouvelles techniques dans le cadre du système maintenant incontesté du capitalisme global et de ses diverses motivations financières et pressions compétitives.

C'est la première fois dans l'histoire de notre planète qu'une espèce, par ses actions volontaires propres, est devenu un danger pour elle-même - aussi bien que pour une quantité énorme d'autres.

Cela pourrait être une progression familière, qui s'est passée sur beaucoup de mondes - une planète, nouvellement formée, tourne placidement autour de son étoile; la vie se forme lentement ; un cortège kaléidoscopique de créatures se développe; l'intelligence apparaît, qui, au moins jusqu'à un certain point, confère une énorme valeur de survie; et puis la technologie est inventée. Il vient à l'esprit de ces êtres qu'il y a des choses comme les lois de la Nature, que ces lois peuvent être révélées par l'expérience et que la connaissance de ces lois peut servir tant à sauvegarder qu'à prendre des vies, tous les deux sur une échelle sans précédent. La science, ils le voient, accorde des pouvoirs immenses. En un éclair, ils créent des inventions qui changent le monde. Quelques civilisations planétaires font leur chemin, placent des limites sur ce qui peut et ce qui ne doit pas être fait, et passent sans danger à travers le temps des périls. D'autres, pas aussi chanceuses ou aussi prudentes, périssent.

C'est de Carl Sagan, écrivant en 1994, dans Pale Blue Dot, un livre qui décrit sa vision de l'avenir humain dans l'espace. Je comprends seulement maintenant combien sa compréhension était profonde et combien douloureusement sa voix me manque et me manquera. Avec toute son éloquence, la contribution de Sagan n'était pas moindre que celle du simple bon sens - un attribut dont, avec l'humilité, beaucoup des principaux avocats des techniques du 21ème siècle semblent manquer.

Un souvenir de mon enfance est que ma grand-mère était fortement contre l'abus d'antibiotiques. Elle avait travaillé depuis avant la première guerre mondiale comme infirmière et avait l'attitude de bon sens que la prise d'antibiotiques, à moins qu'ils ne soient absolument nécessaires, était mauvaise pour vous.

Ce n'est pas qu'elle était un ennemi du progrès. Elle avait vu beaucoup de progrès dans une carrière d'infirmière de presque 70 ans; mon grand-père, diabétique, a profité énormément des traitements améliorés qui sont devenus disponibles pendant sa vie. Mais, comme beaucoup de personnes réfléchies, elle trouverait probablement, maintenant, cela très arrogant de notre part de concevoir une "espèce de remplacement" robotisée, alors que nous avons de façon évidente tant de problèmes à réaliser des choses relativement simples et tant de problèmes à nous diriger - ou même comprendre - nous-mêmes.

Je comprends maintenant qu'elle avait une conscience de ce qu'est l'ordre de la vie et de la nécessité de vivre avec et en respectant cet ordre. Avec ce respect vient une humilité nécessaire qui, avec notre culot du début du 21ème siècle, nous manque pour notre malheur. La vision de bon sens fondée sur ce respect, est souvent juste, en avance sur la preuve scientifique. La fragilité et les inefficacités claires des systèmes faits par l'homme que nous avons déjà construits devraient nous donner à réfléchir; la fragilité des systèmes sur lesquels j'ai travaillé me rend certainement humble.

Nous devrions avoir appris une leçon de la fabrication de la première bombe atomique et de la course aux armements qui en a suivi. Ça n'a pas été un succès alors, et les parallèles avec notre situation actuelle sont troublants.

L'effort pour construire la première bombe atomique a été mené par le brillant physicien J. Robert Oppenheimer. Oppenheimer n'était pas naturellement intéressé par la politique mais il est devenu douloureusement conscient de ce qu'il a perçu comme la grave menace du Troisième Reich pour la civilisation Occidentale, une menace sûrement grave en raison de de la possibilité qu'Hitler pourrait obtenir des armes nucléaires. Stimulé par ce souci, il a apporté sa grande intelligence, sa passion pour la physique et son leadership charismatique à Los Alamos et a dirigé un effort rapide et couronné de succès par une collection incroyable de grands esprits pour rapidement inventer la bombe.

Ce qui est saisissant c'est comment cet effort s'est poursuivi si naturellement après que l'impulsion initiale a été supprimée. À une réunion, peu de temps après la Victoire, avec quelques physiciens qui estimaient que l'effort devrait peut-être s'arrêter, Oppenheimer insista pour continuer. La raison qu'il invoqua semble un peu étrange : ce n'était pas à cause de la crainte de grandes pertes humaines pendant l'invasion du Japon, mais parce que les Nations unies, qui devaient bientôt être formées, devraient avoir la connaissance préalable d'armes atomiques. Une raison plus probable pour que le projet continue était l'élan qui s'était créé - le premier test atomique, Trinity, était presque à portée de la main.

Nous savons que dans la préparation de ce premier test atomique les physiciens ont avancé malgré un grand nombre de dangers possibles. Ils se sont initialement inquiétés, sur la base d'un calcul par Edward Teller, qu'une explosion atomique pourrait mettre feu à l'atmosphère. Un calcul révisé a réduit le danger de détruire le monde à "trois chances sur un million". (Teller dit qu'il fut plus tard capable d'écarter entièrement la perspective d'une ignition atmosphérique). Oppenheimer, pourtant, était suffisamment inquiet du résultat de Trinity pour prendre des dispositions pour une évacuation éventuelle de la partie sud-ouest de l'état du Nouveau Mexique. Et, bien sûr, il y avait le danger clair de commencer une course aux armements nucléaire.

Un mois après ce premier test, couronné de succès, deux bombes atomiques détruirent Hiroshima et Nagasaki. Quelques scientifiques avaient suggéré que la bombe soit simplement démontrée, plutôt que lancée sur des villes japonaises - disant que cela améliorerait énormément les chances pour le contrôle des armements après la guerre - mais en vain. Avec la tragédie de Pearl Harbor toujours fraîche dans les esprits des Américains, cela aurait été très difficile pour le Président Truman d'ordonner une démonstration des armes plutôt que de les utiliser comme il l'a fait - le désir de rapidement finir la guerre et sauvegarder les vies qui auraient été perdues dans n'importe quelle invasion du Japon était très fort. Mais en fait la vérité primordiale était probablement très simple : Comme le physicien Freeman Dyson le dit plus tard, "La raison pour laquelle on l'a lancée était simplement que personne n'avait le courage ou la prévoyance de dire non."

Il est important de comprendre à quel point les physiciens étaient choqués après le bombardement de Hiroshima, le 6 août 1945. Ils décrivent une série d'ondes émotionnelles : d'abord, le sentiment d'accomplissement parce que la bombe fonctionnait, puis l'horreur de tous ces gens qui avaient été tués et ensuite le sentiment profond qu'à aucun prix une autre bombe ne devait être lancée. Mais bien sûr une autre bombe fut lancée, sur Nagasaki, seulement trois jours après le bombardement de Hiroshima.

En novembre 1945, trois mois après les bombardements atomiques, Oppenheimer se retranchait fermement derrière l'attitude scientifique, disant, "Il n'est pas possible d'être un scientifique à moins que vous ne croyiez que la connaissance du monde et le pouvoir qu'elle donne, sont des choses qui ont une valeur intrinsèque pour l'humanité, et que vous l'utilisez pour aider la diffusion de la connaissance et que vous n'en assumiez les conséquences. "

Oppenheimer continua à travailler, avec d'autres, sur le rapport Acheson-Lilienthal, qui, comme Richard Rhodes le dit dans son récent livre Visions of Technology, "trouva une façon d'empêcher une course aux armements nucléaires clandestins sans recourir à un gouvernement armé du monde"; leur suggestion était une forme de renonciation au travail sur les armes nucléaires par les Etats-Nations au profit d'une agence internationale.

Cette proposition a mené au Plan Baruch, qui fut soumis aux Nations Unies en juin 1946, mais n'a jamais été adopté (peut-être parce que, comme Rhodes le suggère, Bernard Baruch avait "insisté pour surcharger le plan avec des sanctions conventionnelles", le condamnant ainsi inévitablement, bien qu'il "aurait presque certainement été rejeté par la Russie staliniste de toute façon "). D'autres efforts pour promouvoir des étapes sensées vers l'internationalisation de la puissance nucléaire pour empêcher une course aux armements se sont heurtés à la politique américaine et la méfiance interne, ou à la méfiance des Soviets. L'occasion d'éviter la course aux armements a été perdue et très rapidement.

Deux ans plus tard, en 1948, Oppenheimer sembla avoir atteint une autre étape dans sa pensée, disant, "Dans une sorte de sens brut qu'aucune grossièreté, aucun humour, aucune exagération ne peut tout à fait éteindre, les physiciens ont connu le péché; et c'est une connaissance qu'ils ne peuvent pas perdre."

En 1949, les Soviets firent éclater une bombe atomique. Avant 1955, tant les Etats Unis que l'Union Soviétique avaient testé des bombes à hydrogène appropriées pour un bombardement aérien. Et alors la course aux armements nucléaires commença.

Il y a presque 20 ans, dans le documentaire The Day After Trinity, Freeman Dyson récapitulait les attitudes scientifiques qui nous avaient mené au gouffre nucléaire :

"Je l'ai senti moi-même. Le scintillement des armes nucléaires. Il est irrésistible si vous les approchez comme un scientifique. De sentir que c'est là dans vos mains, de libérer cette énergie qui alimente les étoiles, de la plier à votre volonté. D'exécuter ces miracles, de soulever un million de tonnes de roche dans le ciel. C'est quelque chose qui donne aux gens une illusion de pouvoir illimité et c'est, en quelque sorte, la cause de tous nos ennuis - cela, ce que vous pourriez appeler l'arrogance technique, qui a raison des gens quand ils voient ce qu'ils peuvent faire avec leur esprits". 8

Maintenant, comme alors, nous sommes les créateurs de nouvelles techniques et les étoiles d'un avenir imaginé, poussés en avant - cette fois par de grandes récompenses financières et la compétition globale - malgré les dangers bien apparents, évaluant à peine à quoi cela ressemblera d'essayer de vivre dans un monde qui est le résultat probable de ce que nous créons et imaginons.
 
 

En 1947, le Bulletin of the Atomic Scientists commença à mettre une Horloge du Jour du Jugement Dernier sur sa couverture. Pendant plus de 50 ans, il a montré une évaluation du danger nucléaire relatif auquel nous avions fait face, reflétant le changement des conditions internationales. Les mains sur l'horloge se sont déplacée 15 fois et aujourd'hui, s'élevant à minuit moins neuf minutes, elles reflètent le danger continu et réel des armes nucléaires. L'ajout récent de l'Inde et du Pakistan à la liste de puissances nucléaires a augmenté la menace d'un échec de la non-prolifération et ce danger a été reflété en déplaçant les mains tout près de minuit en 1998.

En notre temps, à combien de dangers faisons nous face, pas seulement de la part des armes nucléaires, mais de tous ces technologies ? Quelle est le niveau des risques d'extinction ?

Le philosophe John Leslie a étudié cette question et a conclu que le risque de l'extinction humaine est au moins de 30 pour cent, 9 tandis que Ray Kurzweil croit que nous avons "plus de chance que jamais de nous en sortir", tout en avertissant qu'il "a toujours été accusé d'être un optimiste". Non seulement ces évaluations ne sont pas encourageantes, mais elles n'incluent pas la probabilité de beaucoup de résultats horrifiants qui n'impliquent pas l'extinction.

Face à de telles évaluations, quelques personnes sérieuses suggèrent déjà que nous nous déplacions simplement au-delà de la Terre aussi rapidement que possible. Nous coloniserions la galaxie utilisant des sondes de von Neumann, qui sautent de système solaire à système solaire, se reproduisant en chemin. Cette étape sera presque certainement nécessaire dans 5 milliards d'années  (ou plus tôt si notre système solaire est désastreusement impacté par la collision menaçante de notre galaxie avec la galaxie d'Andromeda d'ici 3 milliards d'années), mais si nous prenons Kurzweil et Moravec au mot cela pourrait être nécessaires au milieu de ce siècle.

Quelles sont les implications morales de ceci ? Si nous devons nous déplacer au-delà de la Terre aussi rapidement pour que l'espèce survive, qui acceptera la responsabilité du destin de ceux (la plupart d'entre nous, après tout) qui seront laissés derrière ? Et même si nous nous dispersons dans les étoiles, n'est il pas probable que nous emporterons nos problèmes avec nous ou que nous nous rendions compte, plus tard, qu'ils nous ont suivis ? Le destin de notre espèce sur la Terre et notre destin dans la galaxie semblent inextricablement liés.

Une autre idée est d'ériger une série de protections pour défendre contre chacune des techniques dangereuses. L'Initiative de Défense Stratégique, proposée par l'administration Reagan, était une tentative de concevoir une telle protection contre la menace d'une attaque nucléaire de l'Union Soviétique. Mais comme Arthur C. Clarke, qui était au courant des discussions du projet, observait : "Quoique cela puisse être possible, à un coût énorme, de construire des systèmes de défense locaux qui laisseraient seulement passer quelques pour cent de missiles balistiques, l'idée merveilleuse d'un parapluie national était du non-sens. Luis Alvarez, peut-être le physicien expérimental le plus grand de ce siècle, me déclara que les avocats de tels arrangements étaient ' des types très brillants sans aucun bon sens'".

Clarke continuait : "En regardant dans ma boule de cristal souvent brumeuse, je soupçonne qu'une défense totale pourrait en effet être possible dans un siècle environ. Mais la technique que celà nécessiterait aurait, comme sous-produits, des armes si épouvantables que personne ne s'inquièterait plus de quelque chose d'aussi primitif que des missiles balistiques." 10

Dans Engines of Creation, Eric Drexler propose que nous construisions une protection nanotechnologique active - une forme de système immunitaire pour la biosphère - pour nous défendre contre les duplicateurs dangereux de toutes sortes qui pourraient s'échapper des laboratoires ou être créés autrement par malveillance. Mais le bouclier qu'il propose serait extrêmement dangereux - rien ne pourrait l'empêcher de développer des problèmes d'autoimmunité et d'attaquer lui-même la biosphère. 11

Des difficultés semblables s'appliquent à la construction de protections contre la robotique et le génie génétique. Ces techniques sont trop puissantes pour s'en protéger dans des délais pertinents; même s'il était possible de mettre en oeuvre des protections défensives, les effets secondaires de leur développement seraient au moins aussi dangereux que les techniques contre lesquels nous essayons de nous protéger.

Ces possibilités sont donc toutes indésirables ou inaccessibles ou les deux. La seule alternative réaliste que je vois est la renonciation : limiter le développement des techniques qui sont trop dangereuses, en limitant notre poursuite de certaines sortes de connaissance.

Oui, je sais, la connaissance est bonne, comme l'est la recherche de nouvelles vérités. Nous avons recherché la connaissance depuis les temps anciens. Aristote ouvre sa Métaphysique avec l'assertion simple : "Tous les hommes par nature désirent savoir". Nous avons, comme une valeur de base de notre société, longtemps convenu de la valeur d'un accès ouvert à l'information et reconnaissons les problèmes qui surgissent quand on tente de limiter l'accès à et le développement de la connaissance. Dans des temps récents, nous en sommes venus à révérer la connaissance scientifique.

Mais malgré les précédents historiques forts, si l'accès ouvert à la connaissance et son développement illimité nous mettent dorénavant tous dans un danger clair d'extinction, alors le bon sens exige que nous réexaminions même ces croyances qui sont depuis longtemps fondamentales.

C'est Nietzsche qui nous a avertis, à la fin du 19ème siècle, non seulement que Dieu est mort, mais que "la foi en la science, qui existe après tout indéniablement, ne peut pas devoir son origine à un calcul d'utilité; elle doit être apparue malgré le fait que la nocivité et la dangerosité du 'vouloir la vérité', et de 'la vérité à n'importe quel prix' lui sont prouvées constamment". C'est ce nouveau danger auquel nous faisons maintenant entièrement face - aux conséquences de notre recherche de la vérité. On peut certainement considérer la vérité que la science recherche comme un substitut dangereux de Dieu si elle est la cause de notre extinction future.

Si nous pouvions nous mettre d'accord, en tant qu'espèce, sur ce que nous voulons, où nous allons et pourquoi, alors nous rendrions notre avenir beaucoup moins dangereux - alors nous pourrions comprendre ce que nous pouvons et devons abandonner. Sinon, nous pouvons facilement imaginer une course aux armements se développant sur des techniques GNR, comme il y en a eue avec les techniques NBC au 20ème siècle. C'est peut-être le risque le plus grand, car une fois qu'une telle course commence, il est très difficile de la finir. Cette fois - à la différence du Projet Manhattan - nous ne sommes pas en guerre, faisant face à un ennemi implacable qui menace notre civilisation; nous sommes pilotés, au lieu de cela, par nos habitudes, nos désirs, notre système économique et notre besoin compétitif de connaître.

Je crois que nous souhaitons tous que notre voie puisse être décidée par nos valeurs collectives, éthiques et morales. Si nous avions atteint plus de sagesse collective pendant les quelques derniers milliers d'années, un dialogue à cette fin serait plus réalisable, et les pouvoirs incroyables que nous sommes sur le point de déchaîner seraient loin d'être aussi effrayants.

On pourrait imaginer que nous puissions être poussés à un tel dialogue par notre instinct de conservation. Les individus ont clairement ce désir, cependant en tant qu'espèce notre comportement ne semble être pas en notre faveur. En traitant la menace nucléaire, nous nous parlions souvent malhonnêtement à nous-même et l'un à l'autre, augmentant ainsi énormément les risques. Que ça ait été politiquement motivé, ou que nous ayons voulu ne pas penser à l'avenir, ou parce que faisant face à des menaces d'une telle gravité nous ayons agi irrationnellement par peur, je ne sais pas, mais ce n'est pas de bon augure.

Les nouvelles boîtes de Pandore de la génétique, de la nano-technique et de la robotique sont presque ouvertes, cependant nous semblons à peine l'avoir remarqué. Les idées ne peuvent pas être remises dans une boîte; à la différence de l'uranium ou du plutonium, elles n'ont pas besoin d'être extraites et raffinées et elles peuvent être librement copiées. Une fois qu'elles sont dehors, elles sont dehors. Churchill remarqua, dans un compliment de la main gauche célèbre, que les Américains et leurs leaders "font invariablement la chose juste, après avoir testé chacune des autres possibilités". Dans ce cas, cependant, nous devons agir avec plus de plus préscience, car faire la chose juste seulement à la fin peut signifier simplement perdre la possibilité de la faire.
 
 

Comme Thoreau l'a dit, "Nous ne montons pas sur le chemin de fer; c'est lui qui monte sur nous"; et c'est cela que nous devons combattre, de notre temps. La question est, vraiment, Qui doit être le maître ? Réchapperons-nous de nos technologies ?

Nous sommes propulsés dans ce nouveau siècle sans aucun plan, aucune commande, aucun frein. Sommes-nous déjà partis trop loin sur la pente pour changer de cap ? Je ne le crois pas, mais nous n'essayons pas encore, et la dernière chance de prendre le contrôle - le point de non-retour - s'approche rapidement . Nous avons nos premiers robots familiers, aussi bien que des techniques de génie génétique disponibles dans le commerce et nos techniques à échelle nanométrique avancent rapidement. Comme le développement de ces techniques s'avance par un certain nombre d'étapes, il n'est pas nécessaire - comme c'est arrivé dans le Projet Manhattan et le test Trinity - que la dernière étape pour prouver une technologie soit grande et difficile. La percée vers l'auto-reproduction sauvage dans la robotique, le génie génétique, ou la nano-technique pourrait venir soudainement, rejouant la surprise que nous avons ressentie quand nous avons appris le clonage d'un mammifère.

Et pourtant je crois que nous avons vraiment des raisons fortes et solides d'espérer. Nos tentatives de prendre en compte les armes de destruction massive au siècle dernier fournissent un exemple brillant de renonciation à considérer : l'abandon américain unilatéral, sans conditions préalables, du développement d'armes biologiques. Cette renonciation trouve son origine dans la prise de conscience du fait que bien que cela nécessiterait un énorme effort de créer ces armes épouvantables, elles pourraient alors être facilement dupliquées et tomber dans les mains de nations scélérates ou de groupes terroristes.

La conclusion claire était que nous créerions des menaces supplémentaires pour nous-mêmes en poursuivant la conception de ces armes et que nous serions plus en sécurité si nous ne la poursuivions pas. Nous avons matérialisé notre renonciation aux armes biologiques et chimiques dans la Convention sur les Armes Biologiques  de 1972 (BWC) et la Convention sur les Armes Chimique de 1993 (CWC). 12

Quant à la considérable menace ininterrompue des armes nucléaires, avec laquelle nous avons vécus depuis maintenant plus de 50 ans, le rejet récent par le Sénat Américain du Traité d'Interdiction Complète des Essais Nucléaires montre clairement que renoncer aux armes nucléaires ne sera pas politiquement facile. Mais nous avons une occasion unique, avec la fin de la Guerre Froide, de prévenir une course aux armements multipolaire. En se basant sur les renonciations du BWC et du CWC, l'abolition couronnée de succès des armes nucléaires pourrait nous aider à construire une habitude d'abandonner les technologies dangereuses. (En réalité, en nous débarrassant de toutes sauf 100 armes nucléaires pour le monde entier - grossièrement la puissance destructrice totale de la Deuxième Guerre Mondiale et une tâche considérablement plus facile - nous pourrions éliminer cette menace d'extinction 13).

La vérification de la renonciation sera un problème difficile, mais pas insoluble. Nous avons la chance d'avoir déjà fait beaucoup de travail en ce sens dans le contexte du BWC et d'autres traités. Notre tâche principale sera de l'adapter à des techniques qui sont naturellement beaucoup plus commerciales que militaires. Le besoin substantiel ici est celui de la transparence, car la difficulté de vérification est directement proportionnelle à la difficulté à distinguer les activités abandonnées des légitimes.

Je crois franchement que la situation en 1945 était plus simple que celle à laquelle nous faisons maintenant face : les techniques nucléaires étaient raisonnablement séparables en utilisations commerciales et militaires et le contrôle était rendu facile par la nature des tests atomiques et la facilité avec laquelle la radioactivité peut être mesurée. La recherche sur les applications militaires pouvait être effectuée dans des laboratoires étatiques comme Los Alamos, avec les résultats tenus secrets aussi longtemps que possible.

Les techniques GNR ne se divisent pas clairement en utilisations commerciales et militaires; étant donné leur potentiel sur le marché, il est difficile d'imaginer les poursuivre seulement dans des laboratoires étatiques. Avec l'importance de leurs enjeux commerciaux, mettre en application la renonciation exigera un régime de vérification semblable à celui des armes biologiques, mais à une échelle sans précédent. Cela, inévitablement, soulèvera des tensions entre notre vie privée et le désir de protéger des informations propriétaires d'une part, et d'autre part le besoin que la vérification nous protége tous. Nous rencontrerons sans aucun doute une résistance forte à cette perte de vie privée et de liberté d'action.

La vérification de la renonciation à certains techniques GNR devra se passer dans le cyberespace aussi bien que dans les équipements physiques. La question critique sera de rendre la transparence nécessaire acceptable dans un monde d'information protégée, vraisemblablement en fournissant des nouvelles formes de protection pour la propriété intellectuelle.

La vérification de la conformité exigera aussi que les scientifiques et les ingénieurs adoptent un code fort de conduite morale, ressemblant au serment d'Hippocrate et qu'ils aient le courage de tirer la sonnette d'alarme au besoin, même à un haut coût personnel. Cela répondrait à l'appel - 50 ans après Hiroshima - par le lauréat du Nobel Hans Bethe, un des plus anciens des membres survivants du Projet Manhattan, que tous les scientifiques "cessent et renoncent aux travaux destinés à créer, développer, améliorer et fabriquer des armes nucléaires et d'autres armes de destruction massive potentielle" 14 . Au 21e siècle, cela exigera de la vigilance et de la responsabilité personnelle par ceux qui travailleront tant sur les NBC que sur des techniques GNR pour éviter de mettre en oeuvre des armes de destruction massive et des destructions massives permises par la connaissance.
 
 

Thoreau a également dit que nous serons "riches en proportion du nombre de chose dont nous pouvons nous permettre de nous passer". Nous cherchons tous à être heureux, mais cela vaudrait la peine de se demander si nous devons prendre un risque aussi élevé de destruction totale pour gagner encore plus de connaissance et encore plus de choses; le bon sens nous dit qu'il y a une limite à nos besoins matériels - et que certaines connaissances sont trop dangereuses et qu'il vaut mieux y renoncer.

Nous ne devrions pas rechercher la quasi-immortalité sans en considérer les coûts, sans considérer l'augmentation proportionnelle du risque d'extinction. L'immortalité n'est certainement pas le seul rêve utopique possible, même si c'est l'original.

J'ai récemment eu la bonne fortune de rencontrer l'auteur distingué et l'intellectuel Jacques Attali, dont le livre Lignes d'horizons a aidé à inspirer l'approche adaptée à l'âge futur de l'informatique généralisée de Java et Jini, comme il a précédemment été décrit dans ce magazine. Dans son nouveau livre Fraternités, Attali décrit comment nos rêves d'utopie ont changé dans le temps :

"À l'aube des sociétés, les hommes ont vu leur passage sur la Terre comme rien de plus qu'un labyrinthe de douleur, à la fin duquel se trouvait une porte menant, via leur mort, à la société des dieux et à l'Eternité. Avec les Hébreux et ensuite les Grecs, quelques hommes ont osé se libérer des exigences théologiques et rêver d'une Cité idéale où la Liberté fleurirait. D'autres, notant l'évolution de la société marchande, ont compris que la liberté de certains entraînerait l'aliénation d'autres et ils recherchèrent l'Egalité".

Jacques m'a aidé à comprendre comment ces trois buts utopiques différents existent sous forme d'une tension dans notre société d'aujourd'hui. Il continue en décrivant une quatrième utopie, la Fraternité, dont la fondation est l'altruisme. La fraternité seule associe le bonheur individuel et le bonheur des autres, permettant la promesse de l'autonomie.

Cela a cristallisé mon problème avec le rêve de Kurzweil. Une approche technologique de l'Éternité - la quasi-immortalité par la robotique - peut ne pas être l'utopie la plus désirable et sa poursuite apporte des dangers clairs. Peut-être devrions nous repenser nos choix utopiques.

Où pouvons-nous chercher une nouvelle base morale pour définir notre voie ? J'ai trouvé les idées du livre Ethics for the New Millennium, par le Dalaï-lama, très utiles. Comme on le sait peut-être bien, mais comme on en tient peu compte, le Dalaï-lama soutient que la chose la plus importante est que nous conduisions nos vies avec amour et compassion pour les autres et que nos sociétés doivent développer une notion plus forte de responsabilité universelle et de notre interdépendance; il propose une norme de conduite morale positive pour les individus et les sociétés qui semble en consonance avec l'utopie de la Fraternité d'Attali.

Le Dalaï-lama soutient de plus que nous devons comprendre ce qui rend les gens heureux et reconnaître l'évidence forte que ni le progrès matériel ni la poursuite du pouvoir de la connaissance ne sont la clé - qu'il y a des limites à ce que la science et la poursuite scientifique seules peuvent faire.

Notre notion Occidentale du bonheur semble venir des Grecs, qui l'ont défini comme "l'exercice des pouvoirs vitaux le long de lignes d'excellence dans une vie qui leur donne une place" 15.

Clairement, nous devons trouver des défis significatifs et une portée suffisante dans nos vies si nous devons être heureux dans ce qui est à venir. Mais je crois que nous devons trouver des utilisations alternatives pour nos forces créatrices, au-delà de la culture de la croissance économique perpétuelle; cette croissance a en grande partie été une bénédiction pendant plusieurs centaines d'années, mais elle ne nous a pas apporté le bonheur pur et nous devons maintenant choisir entre la poursuite d'une croissance sans restriction et sans but au moyen de la science et de la technologie et les dangers qui les accompagnent clairement.
 
 

Il y a maintenant plus d'un an depuis ma première rencontre avec Ray Kurzweil et John Searle. Je vois autour de moi des raisons d'espérer dans les appels à la précaution et au renoncement et dans ces gens que j'ai découvert qui sont aussi concernés que moi par notre fâcheuse situation actuelle. Je me sens, aussi, un sens approfondi de responsabilité personnelle - pas pour le travail que j'ai déjà fait, mais pour le travail que je pourrais encore faire, à la confluence des sciences.

Mais beaucoup d'autres personnes qui connaissent les dangers semblent toujours étrangement silencieuses. Quand on les presse, ils débitent la riposte "ce n'est rien de nouveau" - comme si la conscience de ce qui pourrait arriver est une réponse suffisante. Ils me disent qu'il y a des universités remplies de bioéthiciens qui étudient ces histoires toute la journée. Ils disent que tout cela a déjà été décrit auparavant, et par des experts. Ils se plaignent que vos soucis et vos arguments sont déjà de vieilles lunes.

Je ne sais pas où ces gens cachent leur peur. En tant qu'architecte de systèmes complexes j'entre dans cette arène comme un généraliste. Mais cela devrait-il diminuer mes soucis ? Je suis conscient de tout ce qui a été écrit, dit et exposé sur cela avec tant d'autorité. Mais cela signifie-t-il que ça a atteint les gens ? Cela signifie-t-il que nous pouvons négliger les dangers qui sont devant nous ?

Savoir n'est pas une raison pour ne pas agir. Pouvons-nous douter que la connaissance soit devenue une arme que nous brandissons contre nous ?

Les expériences des scientifiques nucléaires montrent clairement le besoin de prendre sa responsabilité personnelle, le danger que les choses aillent trop vite et la manière dont un processus peut acquérir une vie propre. Nous pouvons, comme ils l'ont fait, créer des problèmes insurmontables en un rien de temps. Nous devons penser plus en avance si nous ne voulons pas être de la même façon étonnés et choqué par les conséquences de nos inventions.

Mon travail professionnel ininterrompu est l'amélioration de la fiabilité du logiciel. Le logiciel est un outil, et en tant que fabricant d'outil je dois prendre en compte les utilisations qu'on fait des outils que je fais. J'ai toujours cru que la fabrication de logiciels plus fiables, étant données ses nombreuses utilisations, ferait du monde un endroit plus sûr et meilleur; si je devais en venir à croire le contraire, alors je serais moralement obligé d'arrêter ce travail. Je peux maintenant imaginer qu'un tel jour puisse venir.

Tout ceci me laisse non pas fâché, mais au moins un peu mélancolique. Dorénavant, pour moi, le progrès sera quelque peu doux-amer.
 
 

Vous rappelez-vous la belle avant-dernière scène de Manhattan où Woody Allen est couché sur son divan et parle dans un magnétophone ? Il écrit une nouvelle sur les gens qui se créent des problèmes névrotiques inutiles, parce que cela leur évite de traiter les problèmes plus insolubles et terrifiants de l'univers.

Cela le mène à la question, "Pourquoi la vie vaut-elle d'être vécue ?" et à considérer ce qui donne de la valeur à la sienne : Groucho Marx, Willie Mays, le deuxième mouvement de la Symphonie Jupiter, l'enregistrement de Louis Armstrong de "Potato Head Blues", les films suédois, l'Éducation Sentimentale de Flaubert, Marlon Brando, Frank Sinatra, les pommes et les poires de Cézanne, les crabes de Sam Wo's, et, finalement, l'image finale du film :  le visage de son amour Tracy.

Chacun d'entre nous a ses choses précieuses et dans le soin que nous leur apportons nous plaçons l'essence de notre humanité. Finalement, c'est à cause de notre grande capacité à aimer que je reste optimiste sur le fait que nous dominerons les problèmes dangereux qui sont maintenant devant nous.

Mon espoir immédiat est de participer à une discussion beaucoup plus grande des questions soulevées ici, avec des gens de beaucoup d'arrière-plans différents, non prédisposés pour craindre ou préférer la technologie pour elle même.

Pour commencer, j'ai soulevé à deux reprises beaucoup de ces questions aux événements patronnés par l'Aspen Institute et ai séparément proposé que l'American Academy of Arts and Sciences les prenne en charge comme une extension de son travail aux Conférences Pugwash. (Celles-ci se sont tenues depuis 1957 pour discuter du contrôle des armements, particulièrement des armes nucléaires et formuler des politiques réalisables).

Il est malheureux que les réunions de Pugwash n'aient commencé que bien après que le génie du nucléaire soit sorti de la bouteille - environ 15 ans trop tard. Nous avons de nouveau un début tardif pour sérieusement aborder les questions autour des techniques du 21ème siècle - la prévention de la destruction massive permise par la connaissance - et un retard supplémentaire semble inacceptable.

Donc je cherche toujours ; il y a beaucoup d'autres choses à apprendre. Que nous réussissions ou échouions, que nous survivions ou tombions victimes de ces techniques, n'est pas encore décidé. Je suis de nouveau resté tard éveillé -  il est presque 6 heures. J'essaye d'imaginer quelques meilleures réponses, de rompre le charme et de les libérer de la Pierre.




1 le passage que cite Kurzweil est tiré du Manifeste Unabomber de Kaczynski, qui a été publié conjointement, sous la contrainte, par le "New-York Times" et le "Washington Post" pour essayer d'arrêter sa campagne de terreur. Je suis d'accord avec David Gelernter, qui dit de leur décision :

"C'était un décision difficile pour les journaux. Dire oui signifiait céder au terrorisme et pour autant qu'ils le sachent il mentait de toute façon. D'autre part, dire oui pouvait arrêter le massacre. Il y avait aussi une chance que quelqu'un lise le tract et ait un pressentiment sur l'auteur; et c'est exactement ce qui est arrivé. Le frère du suspect l'a lu et il a appelé.

"Je leur aurais dit de ne pas publier. Je suis heureux qu'ils ne me l'aient pas demandé. Je suppose."

(Drawing Life: Surviving the Unabomber. Free Press, 1997: 120.)

2 Garrett, Laurie. The Coming Plague: Newly Emerging Diseases in a World Out of Balance. Penguin, 1994: 47-52, 414, 419, 452.

3 Isaac Asimov a décrit ce qui est devenu la vision la plus célèbre de règles morales pour le comportement de robots dans son livre I, Robot en 1950, dans ses Trois Lois de la Robotique : 1. Un robot ne doit pas blesser un être humain, ou, par inaction, permettre à un être humain d'être blessé. 2. Un robot doit obéir aux ordres qui lui sont donnés par des humains, sauf si de tels ordres entrent en conflit avec la Première Loi. 3. Un robot doit protéger son existence propre, tant qu'une telle protection n'est pas en conflit avec la Première ou Deuxième Loi.

4 Michel-Ange a écrit un sonnet qui commence :

Non ha l' ottimo artista alcun concetto
Ch' un marmo solo in sè non circonscriva
Col suo soverchio; e solo a quello arriva
La man che ubbidisce all' intelleto.

Stone le traduit par :

Les meilleurs artistes n'ont pas de pensée à montrer
Que la pierre brute dans sa coquille superflue
N'inclut déjà; briser le charme du marbre
Est tout ce que la main qui sert le cerveau peut faire.

Stone décrit le processus : "il ne travaillait pas à partir de ses dessins ou des modèles d'argile; ils avaient tous été mis de côté. Il taillait à partir des images de son esprit. Ses yeux et ses mains savaient où chaque ligne, courbe, masse devait apparaître et à quelle profondeur dans le coeur de la pierre pour créer le bas-relief."

(The Agony and the Ecstasy. Doubleday, 1961: 6, 144.)

5 Première Foresight Conference on Nanotechnology en octobre 1989, une intervention intitulée "The Future of Computation." Publié dans Crandall, B. C. et James Lewis, éditors. Nanotechnology: Research and Perspectives. MIT Press, 1992: 269. Voir aussi www.foresight.org/Conferences/MNT01/Nano1.html

6 Dans sa nouvelle de 1963 , Cat's Cradle, Kurt Vonnegut imagine un accident de type "gelée grise" où une forme de glace appelé glace-neuf, qui devient solide à une température beaucoup plus haute, gèle les océans.

7 Kauffman, Stuart. "Self-replication: Even Peptides Do It." Nature, 382, August 8, 1996: 496. voir www.santafe.edu/sfi/People/kauffman/sak-peptides.html

8 Else, Jon.The Day After Trinity: J. Robert Oppenheimer and The Atomic Bomb (disponible sur www.pyramiddirect.com).

9 Cette évaluation se trouve dans le livre de Leslie The End of the World: The Science and Ethics of Human Extinction, où il note que la probabilité d'extinction est sensiblement plus haute si nous acceptons l'Argument du Jour du Jugement Dernier de Brandon Carter, qui est, brièvement, que "nous devrions avoir une certaine répugnance à croire que nous sommes très exceptionnellement tôt, par exemple dans les 0.001 premiers pour cent de tous les humains qui auront jamais vécu. Ce serait une certaine raison de penser que l'humanité ne survivra plus pendant beaucoup plus de siècles, sans parler de coloniser la galaxie. L'argument du Jour du Jugement Dernier de Carter ne produit pas d'évaluation de risque par lui même. C'est un argument pour revoir les évaluations que nous produisons quand nous considérons divers dangers possibles". (Routledge, 1996 : 1, 3, 145.)

10 Clarke, Arthur C. "Presidents, Experts, and Asteroids."Science, June 5, 1998. Réimprimé comme "Science and Society" dans Greetings, Carbon-Based Bipeds! Collected Essays, 1934-1998. St. Martin's Press, 1999: 526.

11 Et, comme David Forrest le suggère dans son texte "Regulating Nanotechnology Development", disponible sur www.foresight.org/NanoRev/Forrest1989.html. "Si nous utilisions la responsabilité stricte comme une alternative à la règlementation il serait impossible pour n'importe quel développeur d'internaliser le coût du risque (la destruction de la biosphère), donc théoriquement l'activité de développement de nano-technologies ne devrait jamais être entreprise". L'analyse de Forrest ne nous laisse que le règlement gouvernemental pour nous protéger - ce n'est pas une pensée consolante.

12   Meselson, Matthew. "The Problem of Biological Weapons." Presentation au 1,818ème Stated Meeting of the American Academy of Arts and Sciences, January 13, 1999. (http://www.pugwash.org/reports/cbw/cbw5.htm)
 

13 Doty, Paul. "The Forgotten Menace: Nuclear Weapons Stockpiles Still Represent the Biggest Threat to Civilization."Nature, 402, December 9, 1999: 583.

14 Voir aussi la lettre de 1997 de Hans Bethe au président Clinton, sur www.fas.org/bethecr.htm.

15 Hamilton, Edith.The Greek Way. W. W. Norton & Co., 1942: 35.


Bill Joy, co-fondateur et Directeur Scientifique de Sun Microsystems, était co-président de la commission présidentielle sur l'avenir de la recherche en informatique et est coauteur de La Spécification du Langage Java.

Copyright © 1993-2003 The Condé Nast Publications Inc. Tous droits réservés.

Copyright © 1994-2003 Wired Digital, Inc. Tous droits réservés.