499
意识是一种对我们内部状态的不可言喻的原始意识，而计算机永远不会拥有。
有些人预见到一个怀有恶意的超级智能会出现。别担心，这件事可能不会发生。强人工智能只是一个神话。
一项正在进行的计算机科学家调查的最新结果表明，他们中的大多数人认为，技术“奇点”将在2060年会出现（超过人类自然智能的AI的出现，可能会产生灾难性的影响）。许多人，如Ray Kurzweil（著名发明家，现在是谷歌的工程总监），认为它将更早发生。
Kurzweil 2005年出版的“The Singularity is Near”和Nick Bostrom的“Superintelligence: Paths, Dangers, Strategies”激起了大众的想象力。像“Her”和“Ex Machina”这样的电影，对话机器人（Siri、Alexa等）的普及，以及计算机在国际象棋和围棋比赛中获胜的定期报道，都给人留下了这样的印象：无论好坏，通用人工智能（也称为强人工智能）即将出现。
显然，强人工智能可以给社会带来巨大的好处，但也随之带来了担忧。已故英国物理学Stephen Hawking几年前就表达了他的担忧，他表示，如果不谨慎地部署强人工智能，可能会终结人类。同时，Elon Musk也警告说，人工智能的进步是人类生存的最大威胁。
这是不可能发生的。一个有恶意的超级智能并不在计划之内。强人工智能是根本不可能的。
原因是计算机永远无法获得意识，而意识是我们认为理所当然的存在特征。
我们是有意识的生命，因为我们有“某种感觉”。这种感觉被称为“主观经验”。这是一个第一人称的视角。我们的主观体验，如饥饿、爱、恐惧、痛苦、嫉妒、兴奋等等，都是我们自己的，但却很难简单地用视觉、听觉、味觉、触觉和嗅觉这些粗略的感官来描述。意识是这种对我们内部状态的不可言喻的原始意识。艾伦脑科学研究所总裁兼首席科学家Christoff Koch认为，更有诗意地说，它是“生命本身的感觉”。
意识先于智能
意识之所以重要，是因为它显然是智能的先导，而智能是运用对我们内部状态的认识来解决问题或驾驭环境的能力。意识使我们能够建立一个现实的模型，并通过提出“如果”类型的问题来想象它的替代方案。没有主观经验的意识，就不可能有现实的模型，也不可能有智能，更不用说超级智能。
问题是，我们能否将这种“生命本身的感觉”编入机器？
要在机器中复制这种意识，我们首先需要了解它。但是，虽然意识可能是我们最熟悉的经验，但意识本身却很难用科学术语来定义。
物理学让我们了解物质世界的基本性质，但它对意识却保持沉默。在经典力学或量子力学的框架内，没有任何我们可以确定的物理机制可以产生主观体验。如果我们不能理解它，我们怎么能给机器注入像我们这样的思想呢？
2020年诺贝尔物理学奖得主Sir Roger Penrose在其1995年的经典著作“The Emperor’s New Mind: Concerning Computers, Minds, and the Laws of Physics”中认为，人类思维中发生的事情（以及猿猴和海豚的思维）与任何现有的或可想象的计算机的工作原理都非常不同。Penrose使用各种思想实验，包括涉及哥德尔不完全性定理的实验，表明意识是“不可计算的”。也就是说，它不能由算法来表示。由于所有的计算机程序都是算法，意识不能被编入机器。
强人工智能的支持者认为，既然大脑是一台机器（由wetware而非hardware构成）是有意识的，那么其他具有适当架构的机器也应该表现出意识。这就是物理主义的立场，即意识是建筑复杂性的一个涌现属性。换句话说，随着系统在架构上越来越复杂，到了一个点，就会啪一下对其内部状态产生意识。物理学家认为，意识是复杂网络实体的一个基本属性。
iPhone与果蝇
但触发意识的复杂性阈值在哪里？就拿iPhone来说，它是一个极其复杂的网络实体。它的晶体管可能比一只果蝇的神经元还要多。然而，我们却很难相信它具有果蝇的意识，或根本没有任何意识。那么，打败国际象棋冠军卡斯帕罗夫的IBM人工智能超级计算机深蓝，或者最近打败世界围棋冠军柯洁的谷歌AlphaGo人工智能呢？这些人工智能中的任何一个，或者两个，是否都表现出了强人工智能，即意识？
作为一个有意识的人，卡斯帕罗夫肯定不仅知道他在一个高度公开的环境中与机器进行高风险的比赛，而且还知道游戏的复杂性。他必须意识到他在下棋，而且他选择了他最喜欢的开局，格伦菲尔德防守。
你可以肯定，深蓝没有意识到这些，因为它根本就没有意识到任何事。对机器来说，代码和输入只不过是要执行的项目和序列，作为一组电子状态的转换，我们可以通过计算来解释。电子状态的转换是独立于观察者的，但所产生的计算是与观察者有关的，因为程序员已经把意义分配给变量。机器并不关心，对机器来说，这种排序或执行活动没有任何意义。因此，机器永远不会真正“知道”自己在做什么，只是可操作性的理解的表象（operational appearance of comprehension）。
深蓝甚至不知道它在下棋。像所有现代人工智能一样，它只不过是一个强力模式识别系统。
理解的表象
中国房间的思想实验证明了“可操作的理解的表象”是如何产生的。这个实验早在1980年由John Searle提出，他目前是加州大学伯克利分校心灵和语言哲学名誉教授。
该实验想象Searle本人独自在一个房间里听从一个计算机程序的指令，该程序对从门缝里塞进来的汉字作出反应。Searle对中文一窍不通，但通过遵循程序的指令，他又从门缝中发出了适当的汉字符串。这些字符串对Searle来说毫无意义，但门外的人却误以为房间里有一个讲中文的人。
Searle在1992年创造了“强人工智能”一词，他认为，如果没有“理解”，我们就不能把机器所做的事情描述为“思考”，而且，既然它不思考，它就没有意识。因此，强人工智能假说是错误的。
Searle说：“计算机有多少真正的、与观察者无关的智能，无论是‘智能’还是‘超级智能’？答案是零，绝对没有。智能完全是与观察者相关的。而对于智能来说，思考、记忆、决定、欲望、推理、动机、学习和信息处理都是如此，更不用说下棋和回答Jeopardy上提出的事实问题了！在与观察者无关的意义上，计算机拥有的这些知识的总量是零。商业计算机是我们为某些工作而设计的复杂的电子电路。虽然他们中的一些出色地完成了工作，但不要认为他们有任何心理上的真实性。”
那么，我们是否应该停止对奇点的担忧？Searle的回答是肯定的。
“很容易想象机器人被一个有意识的头脑编程，杀死眼前每一个可识别的人类。但是，如果我们担心一个有恶意动机的超级智能会摧毁我们，那么重要的是，这个恶意动机是真实的。如果没有意识，就不可能出现超级智能计算机基于信念、欲望和其他动机而故意毁灭我们，因为机器没有信念、欲望和动机。”
然而，有另一种可能性。奇点已经在这里了；有意识的机器已经存在。事实上，那就是我们。我们自己就是有意识的计算机，有血有肉、有信仰、有欲望、有动机，无精打采地走向末日，验证了奇点所预言的末日。
下载ECAD模型
