近日，2024年度上海市科学技术奖的获奖名单正式揭晓，上海交通大学与蚂蚁集团携手合作的项目《复杂对抗场景下的网络媒体内容安全检测关键技术与应用》荣获科技进步奖一等奖。这一殊荣标志着该项目在内容安全检测领域取得了国际先进水平，特别是AIGC检测等技术更是达到了国际领先。
在此次奖项的核心技术评审中，以中国工程院院士王耀南领衔的专家委员会给予了高度评价。他们认为，该技术整体表现卓越，尤其在复杂对抗场景下，展现出了强大的检测能力和创新性。
在颁奖现场，上海交通大学与蚂蚁集团的代表，蒋兴浩与王维强，共同见证了这一荣耀时刻。随着生成式人工智能和大模型的快速发展，虽然内容生成技术日益智能化，但也带来了诸多挑战，如价值观偏离、意识形态冲突以及道德规范问题等。这些问题对互联网信息的健康传播和网络有害信息的治理构成了严峻挑战。
面对这一挑战，上海交通大学与蚂蚁集团等团队共同研发了一系列关键技术，旨在应对大模型时代复杂对抗场景下的内容安全治理难题。这些技术包括多模理解、AI鉴真、异常推理和多模文档解析等，为内容安全治理提供了新的模式和思路。
上海交通大学副校长蒋兴浩表示，项目组的多家单位研发团队紧密合作，共同探索如何保护人工智能时代的信息内容安全。他们不仅解答了这一难题，还积极引领了生成式人工智能时代的内容安全治理新模式。
该项目在技术创新方面取得了显著成果，解决了传统检测模型泛化难题、异常样本采集挑战、隐晦内容检测以及多变博弈攻击等核心问题。具体而言，他们提出了基于思维链的多模态大模型幻觉缓解技术，研发了可控多模态数据智能生成方法，研制了网络媒体内容安全监测一体化解决方案，并提出了基于对抗与溯源的模型安全防护技术。
这些技术创新不仅显著提升了内容安全领域复杂攻击下的防控效果和效率，还为互联网上有害信息的治理带来了突破性进展。同时，这些技术也为AI技术在更广泛领域的应用提供了强有力的支撑。
据了解，该项目已经获得了41项发明专利、1项国标和1项地标、10项软件著作权以及118篇论文的发表。该项目已经应用于多个平台的内容安全业务防控中，取得了显著的成效。其中，AIGC安全检测等技术已经服务于支付宝的内容相关业务，实现了对不良内容的高效识别与拦截，确保了平台内容的健康与安全。
蚂蚁安全实验室首席科学家王维强表示，在国家网络安全战略的指引下，蚂蚁集团通过产学研合作，研发了包括隐晦推理、AIGC识别等核心技术，构建了互联网信息安全智能治理体系。这一体系不仅为海量创作者提供了安全可信的创作环境，还通过持续迭代的模型能力，筑牢了风险屏障。未来，蚂蚁集团将继续投入安全科技，深耕可信AI技术研发，推动网络安全智能化进程。
