The Coming Technological Singularity:??How to Survive in the Post-Human Era

Vernor Vinge

Department of Mathematical Sciences

San Diego State University

(c) 1993 by Vernor Vinge

(Verbatim copying/translation and distribution of this entire article is permitted in any medium, provided this notice is preserved.)

{原文鏈接：https://edoras.sdsu.edu/~vinge/misc/singularity.html}

翻譯 by 黎昃生（約等于機(jī)翻）

摘要

????在未來的三十年內(nèi)，我們將擁有創(chuàng)造超人類智能的技術(shù)。不久之后，人類紀(jì)元將走向終點(diǎn)。

這樣的進(jìn)程是可以避免的嗎？如果不能避免，能不能加以引導(dǎo)，讓我們姑且還能生存下去？這些問題便是我們要研究的。我將提出一些可能的答案（以及其進(jìn)一步產(chǎn)生的風(fēng)險(xiǎn)）。

什么是奇點(diǎn)？

????技術(shù)發(fā)展的加速已成為本世紀(jì)主要特征，我認(rèn)為，人類已經(jīng)處在變革邊緣，這個(gè)變革可以與人類在地球上的崛起相提并論。而造成這一變革的確切原因就是，技術(shù)即將創(chuàng)造出超越人類智能的存在。我將列舉幾個(gè)可能產(chǎn)生技術(shù)突破的科學(xué)途徑（這也是我們確信技術(shù)奇點(diǎn)必將出現(xiàn)的另一個(gè)原因）：

• “覺醒”的和擁有超人類智能的計(jì)算機(jī)的發(fā)展（到目前為止，大多數(shù)關(guān)于AI的爭(zhēng)論焦點(diǎn)還停留在我們是否能夠在機(jī)器上實(shí)現(xiàn)與人類對(duì)等的智能），但如果答案是“Yes ，we can”，那么毫無疑問，更加智能的造物也會(huì)在此后不久被構(gòu)建完成。）

• 大規(guī)模計(jì)算機(jī)網(wǎng)絡(luò)（以及他們所連接的用戶）也許會(huì)以一個(gè)超人類智能實(shí)體的形式“醒來”（Large computer networks (and their associated users) may "wake up" as a superhumanly intelligent entity.）

• 計(jì)算機(jī)/人類的界限變得如此模糊以至于用戶也被理所當(dāng)然地認(rèn)為是超人類智能。（原文：Computer/human interfaces may become so intimate that users?may reasonably be considered superhumanly intelligent.）

• 生物科學(xué)可能會(huì)找到一種對(duì)人類智力進(jìn)行提升的方法。

????前三種可能性都很大程度上都是基于計(jì)算機(jī)硬件的提升。在過去的幾十年中，計(jì)算機(jī)硬件的發(fā)展奇跡般的沿著一條穩(wěn)定的曲線[16]?；谶@一趨勢(shì)，我相信在未來的三十年內(nèi)，人類將創(chuàng)造出超越人類智能的造物。(但是Charles?Platt?[19]指出，AI愛好者們?cè)谶^去的三十年來一直這樣說。因此我不認(rèn)為相對(duì)時(shí)間的模糊性是錯(cuò)的，說的更具體些，如果這個(gè)事發(fā)生在2005年之前或2030年之后，我會(huì)感到驚訝。）（原文：Charles Platt [19] has pointed out the AI enthusiasts have been making claims like this for the last thirty years. Just so I'm not guilty of a relative-time ambiguity, let me more specific: I'll be surprised if this event occurs before 2005 or after 2030.)

????這一事件的后果什么？當(dāng)超越人類的智能來推動(dòng)進(jìn)步時(shí)，這種進(jìn)步將會(huì)比過去的我們?nèi)祟愔鲗?dǎo)的進(jìn)步要快得多。事實(shí)上，似乎沒有理由認(rèn)為進(jìn)步本身不涉及在更短的時(shí)間尺度上創(chuàng)造更智能的實(shí)體。我認(rèn)為最好的類比是進(jìn)化的歷史：

????動(dòng)物能適應(yīng)問題和創(chuàng)造發(fā)明，但是常常快不過自然選擇--就自然選擇來說，世界充當(dāng)了自身的模擬器。我們?nèi)祟愑兄咽澜鐑?nèi)在化并在在腦海里進(jìn)行“如果是這樣，那該怎么辦？”的模擬（或者預(yù)期）能力，我們解決很多問題的速度比自然選擇快上千倍。現(xiàn)在，通過創(chuàng)造在更高的速度下執(zhí)行這些模擬的方法，我們正進(jìn)入一種全新的制度，正如過去的我們告別低等動(dòng)物，現(xiàn)在也要告別過去的人類。

????從人類的視角看來，這些改變將會(huì)拋棄以前的一切規(guī)則，可能眨眼間，就會(huì)發(fā)生指數(shù)級(jí)的失控。以前被認(rèn)為可能需要一百萬年（甚至更長(zhǎng)）的時(shí)間才能完成的突破很有可能在下個(gè)世紀(jì)就會(huì)發(fā)生。 (在[4]中, Greg Bear便描繪了僅僅在數(shù)小時(shí)內(nèi)就發(fā)生巨變的圖景)

????我認(rèn)為將該事件稱為奇點(diǎn)（本文中的“奇點(diǎn)”）很公平。在這一點(diǎn)上，舊的模型必須被摒棄，而新的現(xiàn)實(shí)會(huì)迎來統(tǒng)治。隨著我們?cè)絹碓浇咏@一點(diǎn)，它將在人類事務(wù)中占據(jù)越來越大的位置，直到這一概念成為一種普遍現(xiàn)象。然而，當(dāng)它最終發(fā)生時(shí)，它仍可能是一個(gè)巨大的驚喜和更多的未知數(shù)。在二十世紀(jì)50年代，很少有人能看到這一點(diǎn)：Stan Ulam?[27]解釋了馮·諾伊曼的話：

有一次對(duì)話集中于技術(shù)的不斷加速發(fā)展和人類生活方式的不斷變化上，這讓人感覺我們正在接近人類歷史上的某個(gè)重要的奇點(diǎn)，在這個(gè)奇點(diǎn)之后，我們所知道的人類事務(wù)就無法繼續(xù)下去。

馮·諾依曼甚至使用了奇點(diǎn)這個(gè)術(shù)語，盡管他似乎仍然在思考正常的進(jìn)程，而不是創(chuàng)造超人類的智能。(在我看來，超人類性就是奇點(diǎn)的本質(zhì)。如果沒有它，我們不斷發(fā)展的結(jié)果只會(huì)是技術(shù)過盛，卻不能完全吸收（參見[24]）

????在20世紀(jì)60年代，人們已經(jīng)認(rèn)識(shí)到了超人類智能的一些含義。I. J. Good這樣寫道[10]：

我們把超智能機(jī)器（ultraintelligent machine）定義為一種可以遠(yuǎn)超任何一個(gè)人所有智力活動(dòng)的機(jī)器，無論這個(gè)人有多么聰明。因?yàn)闄C(jī)器的設(shè)計(jì)就是這些智力活動(dòng)的一環(huán)，所以一個(gè)超智能機(jī)器甚至可以設(shè)計(jì)一個(gè)比它自己更“聰明”的機(jī)器；那么，毫無疑問，這會(huì)是一場(chǎng)“智能爆炸”，人類智能也會(huì)遠(yuǎn)遠(yuǎn)落后于他們。因此，第一臺(tái)超智能機(jī)器就是需要人類參與制作的最后一項(xiàng)發(fā)明，前提是，機(jī)器足夠溫馴，告訴我們?nèi)绾慰刂扑?/span>

---更有可能的圖景不是這樣，在20世紀(jì)內(nèi)，超智能機(jī)器將被制成，這將是需要人類的最后一項(xiàng)發(fā)明。

????Good已經(jīng)抓住了失控的本質(zhì)，但沒有進(jìn)一步追究最令人不安的后果。他所描述的任何這類智能機(jī)器都不會(huì)是人類的“工具”——就像人類不會(huì)是是兔子、知更鳥或黑猩猩的工具一樣。

????在60年代、70年代和80年代，對(duì)大災(zāi)難的認(rèn)識(shí)開始傳播[28] [1] [30] [4]。也許是科幻小說家們第一次感受到了具體的影響。畢竟，“硬”科幻作家是那些試圖描繪所有技術(shù)都會(huì)對(duì)我們有益的圖景的人。這些作家越來越感到未來有一堵不透明的墻。曾經(jīng)，他們可以把這樣的幻想放在未來數(shù)百萬年[23]。現(xiàn)在他們看到他們最勤奮的推斷導(dǎo)向了不可知的未來。

????曾經(jīng)，銀河帝國(guó)似乎是后人類的領(lǐng)地，可悲的是，現(xiàn)在即使是行星間的未來也不可知。

????那么90年代，00年代和10年代呢，當(dāng)我們滑向邊緣的時(shí)候？奇點(diǎn)的到來將如何在人類的世界觀中傳播？在一定時(shí)間段內(nèi)，對(duì)機(jī)器智能的一般性批評(píng)將有良好的新聞報(bào)道效果。畢竟，在擁有像人腦一樣強(qiáng)大的硬件之前，就認(rèn)為我們能夠創(chuàng)造出與人類相當(dāng)（或更高）的智能是愚蠢的。（有一種牽強(qiáng)的可能性，如果我們?cè)敢饨o予速度，如果我們?cè)敢鉂M足于一個(gè)實(shí)際上很慢的人工生命，我們可以用不那么強(qiáng)大的硬件制造出一個(gè)人類[29]。但更有可能的是，設(shè)計(jì)軟件將是一個(gè)棘手的過程，涉及許多錯(cuò)誤的開始和實(shí)驗(yàn)。如果是這樣的話，那么擁有自我意識(shí)的機(jī)器的到來將不會(huì)發(fā)生，直到我們開發(fā)出比自然人類更強(qiáng)大的硬件。

????但隨著時(shí)間的推移，我們應(yīng)該會(huì)看到更多的征兆?？苹眯≌f作家所感受到的困境將在其他創(chuàng)造性的努力中被感知。（我曾聽到一位有思想的漫畫作家擔(dān)心，當(dāng)所有可見的東西都可以由技術(shù)上的普通事物產(chǎn)生時(shí)，如何產(chǎn)生壯觀的效果。）我們將看到自動(dòng)化取代越來越高級(jí)別的工作。我們現(xiàn)在有工具（符號(hào)數(shù)學(xué)程序，cad/cam）可以把我們從最底層的苦差事中解放出來?；蛘邠Q句話說：真正富有成效的工作是人類中越來越少、越來越精英的一部分人的領(lǐng)域。隨著奇點(diǎn)的到來，我們看到了技術(shù)失業(yè)的預(yù)言終于成真。

????向奇點(diǎn)發(fā)展的另一個(gè)征兆是：思想本身應(yīng)該傳播得更快，即使是最激進(jìn)的思想也會(huì)很快變得司空見慣。當(dāng)我開始寫作的時(shí)候，似乎很容易就能提出一些想法，而這些想法要花幾十年的時(shí)間才能滲透到文化意識(shí)中；現(xiàn)在的籌備時(shí)間似乎更像是18個(gè)月。(當(dāng)然，這可能只是我隨著年齡的增長(zhǎng)而失去了想象力，但我也看到了其他人的影響。）就像可壓縮流體中的激波一樣，當(dāng)我們加速通過臨界速度時(shí)，奇點(diǎn)會(huì)越來越近。

????那么奇點(diǎn)本身的到來呢？關(guān)于它的實(shí)際表觀可以說些什么呢？由于它涉及到智能的失控，它可能比迄今為止看到的任何技術(shù)革命都要快。這一突發(fā)事件很可能是意料之外的--甚至可能對(duì)相關(guān)的研究人員來說也是如此。（“但是我們以前的所有模型都是緊張性精神分裂癥！我們只是在調(diào)整一些參數(shù)...如果網(wǎng)絡(luò)足夠廣泛（進(jìn)入無處不在的嵌入式系統(tǒng)），那么我們的人工造物可能會(huì)作為一個(gè)整體突然覺醒了。（原文：（"But all our previous models were catatonic! We were just tweaking some parameters....") If networking is widespread enough (into ubiquitous embedded systems), it may seem as if our artifacts as a whole had suddenly wakened.?）

????那之后的一兩個(gè)月（或一兩天）會(huì)發(fā)生什么呢？我只有一些類比可以指出：人類的崛起。我們將進(jìn)入后人類時(shí)代。盡管我對(duì)科技抱著極度樂觀的態(tài)度，但有時(shí)我想，如果我把這些超然的事件放在一千年以前，而不是二十年后，我會(huì)更舒服些。

后面的章節(jié)尚未翻譯。。。。。

奇點(diǎn)可以避免嗎？

通往奇點(diǎn)的其他路徑：智力放大

強(qiáng)大的超人類和我們所能要求的最好的

????[1] Alfvn, Hannes, writing as Olof Johanneson, The End of Man?,?Award Books, 1969 earlier published as "The Tale of the Big Computer", Coward-McCann, translated from a book copyright 1966 Albert Bonniers Forlag AB with English translation copyright 1966 by Victor Gollanz, Ltd.

? ? ?[2] Anderson, Poul, "Kings Who Die", If, March 1962, p8-36.?Reprinted in Seven Conquests, Poul Anderson, MacMillan Co., 1969.

? ? ?[3] Barrow, John D. and Frank J. Tipler, The Anthropic Cosmological Principle,?Oxford University Press, 1986.

? ? ?[4] Bear, Greg, "Blood Music", Analog Science Fiction-Science Fact, June, 1983. Expanded into the novel Blood Music, Morrow, 1985

? ? ?[5] Cairns-Smith, A. G., Seven Clues to the Origin of Life, Cambridge? University Press, 1985.

? ? ?[6] Conrad, Michael et al., "Towards an Artificial Brain", BioSystems, vol23, pp175-218, 1989.

? ? ?[7] Drexler, K. Eric, Engines of Creation, Anchor Press/Doubleday, 1986.

? ? ?[8] Dyson, Freeman, Infinite in All Directions, Harper && Row, 1988.

? ? ?[9] Dyson, Freeman, "Physics and Biology in an Open Universe", Review of Modern Physics, vol 51, pp447-460, 1979.

? ? [10] Good, I. J., "Speculations Concerning the First Ultraintelligent?Machine", in Advances in Computers, vol 6, Franz L. Alt and? Morris Rubinoff, eds, pp31-88, 1965, Academic Press.

? ? [11] Good, I. J., [Help! I can't find the source of Good's Meta-Golden? Rule, though I have the clear recollection of hearing about it sometime in the 1960s. Through the help of the net, I have found? pointers to a number of related items. G. Harry Stine and Andrew? Haley have written about metalaw as it might relate to?extraterrestrials: G. Harry Stine, "How to Get along with? Extraterrestrials ... or Your Neighbor", Analog Science Fact-?Science Fiction, February, 1980, p39-47.]

? ? ? ? ? ??

? ? [12] Herbert, Frank, _Dune_, Berkley Books, 1985. However, this novel was?serialized in _Analog Science Fiction-Science Fact_ in the 1960s.

? ? [13] Kovacs, G. T. A. et al., "Regeneration Microelectrode Array for?Peripheral Nerve Recording and Stimulation", IEEE Transactions?on Biomedical Engineering, v 39, n 9, pp 893-902.

? ? [14] Margulis, Lynn and Dorion Sagan, Microcosmos, Four Billion Years of?Evolution from Our Microbial Ancestors, Summit Books, 1986.

? ? [15] Minsky, Marvin, Society of Mind, Simon and Schuster, 1985.

? ? [16] Moravec, Hans, Mind Children, Harvard University?Press, 1988.

? ? [17] Niven, Larry, "The Ethics of Madness", If, April 1967, pp82-108.?Reprinted in _Neutron Star, Larry Niven, Ballantine Books, 1968.

? ? [18] Penrose, R., The Emperor's New Mind, Oxford University Press, 1989.

? ? [19] Platt, Charles, Private Communication.

? ? [20] Rasmussen, S. et al., "Computational Connectionism within Neurons:?a Model of Cytoskeletal Automata Subserving Neural Networks", in?Emergent Computation, Stephanie Forrest, ed., p428-449, MIT?Press, 1991.

? ? [21] Searle, John R., "Minds, Brains, and Programs", in _The Behavioral and?Brain Sciences, v.3, Cambridge University Press, 1980. The?essay is reprinted in The Mind's I, edited by Douglas R.?Hofstadter and Daniel C. Dennett, Basic Books, 1981. This?reprinting contains an excellent critique of the Searle essay.

? ? [22] Sims, Karl, "Interactive Evolution of Dynamical Systems", Thinking??Machines Corporation, Technical Report Series (published in Toward?a Practice of Autonomous Systems: Proceedings of the First European?Cnference on Artificial Life, Paris, MIT Press, December 1991.

? ? [23] Stapledon, Olaf, The Starmaker, Berkley Books, 1961 (but from?the forward probably written before 1937).?

? ? [24] Stent, Gunther S., The Coming of the Golden Age: A View of the End?of Progress, The Natural History Press, 1969.

? ? [25] Swanwick Michael, Vacuum Flowers, serialized in Isaac Asimov's?Science Fiction Magazine, December(?) 1986 - February 1987.?Republished by Ace Books, 1988.

? ? [26] Thearling, Kurt, "How We Will Build a Machine that Thinks", a workshop?at Thinking Machines Corporation. Personal Communication.

? ? [27] Ulam, S., Tribute to John von Neumann, Bulletin of the American?Mathematical Society, vol 64, nr 3, part 2, May, 1958, p1-49.

? ? [28] Vinge, Vernor, "Bookworm, Run!", Analog, March 1966, pp8-40.?Reprinted in True Names and Other Dangers, Vernor Vinge, Baen Books, 1987.

? ? [29] Vinge, Vernor, "True Names", Binary Star Number 5, Dell, 1981.?Reprinted in True Names and Other Dangers, Vernor Vinge, Baen Books, 1987.

? ? [30] Vinge, Vernor, First Word, Omni, January 1983, p10.

譯后記

弗諾·文奇（Vernor Vinge）是我非常喜歡的一位科幻作家，其代表作《銀河界區(qū)》三部曲我亦早有耳聞，卻害怕其龐大的量（字?jǐn)?shù)超多，書厚，總之就是沒讀完），現(xiàn)在也只閱讀了《真名實(shí)姓（True Names and the Opening of the Cyberspace Frontier）》與《彩虹盡頭（Rainbows End）》并在作者簡(jiǎn)介中發(fā)現(xiàn)了這篇論文。