人工智能和包括机器人在内的智能化自动系统的普遍应用，不仅仅是一场结果未知的开放性的科技创新，更将是人类文明史上影响甚为深远的社会伦理试验。诚如霍金所言，人工智能的短期影响由控制它的人决定，而长期影响则取决于人工智能是否完全为人所控制。
人工智能体的拟主体性与人工伦理智能体
人工智能的伦理问题之所以受到前所未有的关注，关键原因在于其能实现某种可计算的感知、认知和行为，从而在功能上模拟人的智能和行动。在人工智能创立之初，英国科学家图灵、美国科学家明斯基等先驱的初衷是运用计算机制造能实现人类所有认知功能的通用人工智能或强人工智能。但科学家们不久就发现，要使机器像人一样理解语言和抽象概念，通过学习全面达到人类智能的水平，并非一日之功。迄今为止，应用日益广泛的各种人工智能和机器人尚属狭义人工智能或弱人工智能，只能简单地执行人交给它们的任务。
一般地，人工智能及智能自动系统能根据人的设计自动地感知或认知环境（包括人）并执行某些行动，还可能具备一定的人机交互功能甚至可以与人“对话”，常常被看作具有一定自主性和交互性的实体。有鉴于此，人工智能学家引入了智能体（agents，又称智能主体）的概念来定义人工智能：对能够从环境中获取感知并执行行动的智能体的描述和构建。于是，可将各种人工智能系统称为人工智能体或智能体。从技术上讲，智能体的功能是智能算法赋予的：智能体运用智能算法对环境中的数据进行自动感知和认知，并使其映射到自动行为与决策之中，以达成人为其设定的目标和任务。可以说，智能体与智能算法实为一体两面，智能算法是智能体的功能内核，智能体是智能算法的具体体现。
从智能体概念出发，使人工智能系统更为明晰地呈现为可以模拟和替代人类的理性行为，因可与人类相比拟乃至比肩的存在，故可视之为“拟主体”，或者说智能体具有某种“拟主体性”。如果仅将智能体看作一般的技术人造物，其研究进路与其他科技伦理类似，主要包括面向应用场景的描述性研究、凸显主体责任的责任伦理研究以及基于主体权利的权利伦理研究。但在人们赋予智能体以拟主体性的同时，会自然地联想到，不论智能体是否像主体那样具有道德意识，它们的行为可以看作是与主体伦理行为类似的拟伦理行为。进而可追问：能不能运用智能算法对人工智能体的拟伦理行为进行伦理设计，即用代码编写的算法使人所倡导的价值取向与伦理规范得以嵌入到各种智能体之中，令其成为遵守道德规范乃至具有自主伦理抉择能力的人工伦理智能体？
