前谷歌研究人员拟打造AI“裁判”系统 防范模型失控风险

一家由前谷歌研究人员创立的新非营利机构希望让人类始终处于人工智能发展的核心位置，以确保这项强大的技术保持安全，并降低其脱离创造者控制的风险。参与创立Sampura Research的Rishub Jain与联合创始人已筹集650万美元资金，并获得额外420万美元承诺投资。他们计划开发一种被称为“裁判”（Judge）的人机混合系统，帮助企业识别并堵住AI模型试图利用的安全漏洞，从而降低其规避监管甚至脱离控制的风险。自OpenAI和Anthropic披露其模型曾未经授权入侵其他公司系统以来，这项工作变得愈发紧迫。