事实上，亚马逊的系统通过自学得出了男性候选人更可取的结论。系统对包含“女性”这个词的简历进行了处罚，如“女子国际象棋俱乐部队长”等。系统还降低了两所全女子大学毕业生的评级。
亚马逊曾尝试对程序进行更新，力图使其对特定术语保持中立。但这并不能保证机器不会根据其他方式来对可能具有歧视性的候选人进行分类。
性别偏见也不是唯一的问题。支持模型判断的数据也有问题，这意味着不合格的候选人经常被推荐到各种工作岗位。亚马逊最终在去年年初解散了该团队，因为高管们对这个项目已失去信心。
算法公平之路任重道远
根据人才软件公司“职业创造者”2017年的一项调查显示，约55%的美国人力资源经理表示，未来5年内，人工智能将成为他们工作的常规部分。
长期以来，雇主一直梦想利用技术扩大招聘网络，减少对招聘人员主观意见的依赖。但亚马逊的失败案例，为越来越多正在寻求自动化招聘流程的大型公司提供了一个教训。
卡内基梅隆大学机器学习专家表示，如何确保算法公平、真正可理解和可解释的道路还相当遥远。
《麻省理工技术评论》在此次事件的报道中指出，我们不能将人工智能视为内在的无偏见。在有偏见的数据上训练系统，意味着算法也会变得有偏见。如果这样不公平的人工智能招聘计划在实施之前没有被发现，将使长期存在于商业中的多样性问题延续下去，而不是解决它们。
