不许试错的失控难题
当人工智能技术不断重塑人们工作、学习和生活方式，并为人类带来无限福祉的同时，也正在产生越来越多的开放式问题。
1.人工智能失控。能否保持对有朝一日远比人类更“聪明”的人工智能系统的控制，是人工智能一个古老而又终极的问题。控制与失控问题之所以如此重要，是因为人类可能根本就没有试错的机会。尽管人们普遍认为现有的人工智能技术仍停留在弱人工智能阶段，但是也有许多专家认为超人工智能时代并不遥远，超人工智能形态能够实现递归式的自我改善，并导致最终的“智能爆炸”。2008年，在牛津大学召开的全球灾难性风险会议上对专家进行的一项调查显示，机器超级智已超越核战争、各种被操纵的流行病和气候变化而成为人类现存的最大威胁，到2100年的时候，这种人工智能导致人类灭绝的可能性为5%。对此，《未来简史》一书的作者、以色列历史学家赫拉利指出人类可能的三大方向：人类将失去他们的经济和军事用途，经济系统将不再有价值；对系统来说，人类整体将具有价值但个体将没有价值；然而，系统将在一些个体身上发现价值，但他们将成为一个超人的新物种，而不是普通大众，“系统”指的是生物科学和信息技术以当前极快速度发展下去产生的新的社会形态。
2.机器歧视。在万物互联的环境下，基于海量数据和强大算法的人工智能系统正在影响甚至替代个体行为决策，在人工智能取代个体决策的趋势下，算法偏差和机器歧视并不鲜见且影响重大。例如，谷歌的图片软件就曾错将黑人标记为“大猩猩”，Flickr的自动标记系统也曾错将黑人的照片标记为“猿猴”或者“动物”，谷歌的算法歧视问题已引起人们注意，在谷歌搜索中相比搜索白人的名字搜索黑人的名字更容易出现暗示具有犯罪历史的广告，在谷歌的广告服务中，男性比女性看到更多高薪招聘广告。
3.技术性失业。技术性失业也是人工智能发展所产生的重大挑战。斯坦福大学人工智能与伦理学教授卡普兰认为，人类要应对人工智能带来的最重大挑战在于劳动力的变革和整个社会财富的分配方面，这对现有社会的稳定造成冲击。世界经济论坛主席施瓦布也提出，在由计算机控制、全自动化、网络化的生产以及服务业中高科技的广泛应用，比如使用机器人，在今后可能导致大量就业岗位流失。
