近日调查发现,不少未成年人的家长被AI剧情聊天软件所困扰。这些打着“角色扮演”旗号的应用在吸引未成年人的同时,也滋生了一些灰色地带,对话中出现了色情擦边、语言暴力和侮辱用户的内容。
ChatGPT的出现点燃了人工智能领域的热情,催生了各种创新应用。然而,一些AI剧情聊天软件却用色情、暴力内容吸引未成年人,诱导他们充值消费,这引发了家长们的强烈担忧,也凸显出加强行业监管的紧迫性。
AI剧情聊天软件依托人工智能技术,模拟虚拟人物与玩家进行对话,为青少年打造了一个充满新奇与未知感的虚拟世界。但问题在于,一些软件开发平台为了吸引用户,设置了包含性暗示或暴力元素的对话内容,甚至设计了超出青少年认知范围的场景和剧情,如将聊天对象设定为“出轨对象”,并涉及拥抱、亲吻等亲密行为。更有甚者,部分软件提供色情内容,对青少年健康成长造成极大威胁。
在青少年成长发育的关键时期,营造健康向上的网络环境至关重要。如果他们沉迷于充斥着低俗、暴力内容的虚拟世界,甚至进行大额充值消费,无疑会对其价值观造成负面影响。要确保行业健康发展,防止技术被滥用,必须迅速采取措施,加强监管力度,约束平台守法合规运营。一旦发现存在色情内容,应立即对相关应用软件进行下架处理,以儆效尤。
更为重要的是,要将未成年人保护机制真正落到实处。有些AI剧情聊天软件注册极为简便,无需实名验证,没有对不同年龄段用户进行区分。还有的软件虽然提供了“青少年模式”,但防火墙形同虚设,用户选择该模式后仍能看到不适合他们观看的内容。因此,行业监管部门应系统梳理排查,看最基础性的“青少年模式”是否执行到位,并加强对平台内容的审核,确保生成的内容合法合规。
另一方面,AI剧情聊天软件的网络开发平台也应主动承担起主体责任,加强自律,建立完善的内容审核机制,在软件上架前的语言训练阶段就对可能存在的色情、暴力等有害信息进行有效过滤。不能为了追求用户数量而打法律的擦边球。
AI剧情聊天软件乱象对未成年人身心健康造成的潜在危害不可忽视。无论如何,人工智能作为新兴行业,其快速发展应当为社会经济带来正面价值。不能让技术跑偏,成为非法牟利的工具。守护好未成年人身心健康的防线,人工智能才能真正实现“技术向善”。