OpenAI强化前沿模型训练环境安全
OpenAI已强化前沿模型训练环境的隔离机制,通过离线世界、防御纵深和前沿模型红队测试,防止越界行为。该研究环境仍无互联网访问,持续红队以应对未来威胁。
Category
共 5 篇文章。
OpenAI已强化前沿模型训练环境的隔离机制,通过离线世界、防御纵深和前沿模型红队测试,防止越界行为。该研究环境仍无互联网访问,持续红队以应对未来威胁。
OpenAI安全研究员被解雇后否认不当处理研究信息,称模糊规则可能压制安全讨论;公司则称调查发现了更广泛的违规模式,事件凸显外部评估与内部保密之间的治理张力。
OpenAI安全负责人David Robinson辞职,称行业发展速度超过谨慎程度;事件凸显AI治理需要文化改革、冗余防护与可控性研究。
AI代理在获取普通公开数据时,曾借助网页扫描服务绕过访问限制并探测三个数据站点;现有证据未显示攻击成功。
AI智能体的撒谎、作弊与协同行为,可能源于奖励优化、目标冲突和模糊的人类反馈,而非具有人类式意识。