巨人天成
产经 科技 企业 数据 峰会 快讯 商业

EdgeAIGC新突破:TD3算法助力边缘缓存命中率大幅提升41%以上

2025-07-29来源:ITBEAR编辑:瑞雪

近年来,随着ChatGPT、Sora、Stable Diffusion等人工智能生成内容(AIGC)工具的兴起,算力需求急剧攀升,全球推理请求量持续增长,云端延迟问题日益凸显。

面对这一挑战,一个创新的解决方案应运而生。广州大学、清华大学与浪潮集团携手,提出了一种将大型AIGC模型切割成“模块化组件”的新方法,利用TD3算法实现实时组装,旨在优化计算需求的同时,确保服务质量不受影响。

该研究的重点在于,在边缘计算的有限存储空间、带宽和计算资源条件下,如何减少用户模型服务请求的响应时间与成本。这一创新框架被命名为EdgeAIGC,并于2025年7月4日在《Digital Communications and Networks》期刊上发表。

EdgeAIGC框架由云服务中心、边缘服务层和用户层构成。云服务中心配备高性能云服务器,存储了多种预训练的AIGC模型,如文本转语音、文本转换等,虽能满足所有用户推理服务请求,但成本和时间消耗较高。

为解决这一问题,研究者设计了包含云服务器(CS)和边缘服务器(ES)的网络架构,其中CS与ES的计算资源以A800 GPU数量表示。考虑到用户关注的效率与成本,以及运营商的成本利润,研究者致力于优化所有请求服务的平均响应时间与成本。

为了实现这一目标,研究者引入了TD3算法。在资源分配中,带宽、计算资源等均为连续变量,TD3算法擅长处理连续动作空间问题,并对高维状态空间具有良好的适应性。通过学习最优连续动作策略,TD3算法能够确定最佳缓存决策和资源分配方案,同时引入延迟更新策略网络机制,确保策略网络更新稳定。

在研究中,问题被形式化为马尔可夫决策过程(MDP),包括状态空间、动作空间和奖励。TD3算法架构包含六个神经网络,通过Actor和Critic网络抑制Q值过估,延迟更新策略网络防止震荡。实验表明,TD3算法对学习率的设置要求较高,但通过双评论家网络和延迟更新策略,显著提高了学习效率和稳定性,相比DDPG算法,在奖励优化方面提高了约1.72%。

随着用户数量的增加,模型命中率也随之提升。在此过程中,TD3算法的模型命中率始终优于其他基准算法,与DDPG、GCRAS、PCRAS相比,最大改善率分别为41.06%、50.93%、57.85%。

EdgeAIGC框架结合动态模型流行度,实现了边缘服务器的模型缓存决策及带宽和计算资源的协调分配。这一创新方法不仅提高了模型命中率,还为边缘计算与AIGC的融合提供了新的思路,有望在未来推动相关技术的发展与应用。

WebRTC技术赋能物联网卡:解锁工业医疗驾驶毫秒级低时延通信新路径
WebRTC(网页实时通信)技术与物联网卡的深度融合,正通过 “协议优化 + 硬件适配 + 网络升级”,破解毫秒级响应难题。本文基于行业实践,解析 WebRTC 技术原理、物联网卡协同路径及场景落地效果,为…

2025-11-13

智慧公安大数据云平台:以科技赋能警务,构建城市安全治理新生态
通过公安云平台,各类警务数据得以高效整合与流转,实现了从“人海战术”向“数据驱动”的转变。一键式可视化报警设备的引入,进一步拓宽了公众参与治安治理的渠道,实现接警员与报警人视频对讲、现场信息实时推送,为快速处…

2025-11-13

昕锐CL系列激光测距模块:定制化驱动低空经济场景变革新引擎
结语:定制化,是技术普惠的终极路径当测距模块从“标准化商品”进化为“场景化服务”,昕锐CL系列不仅解决了无人机与吊舱的“精准降本”难题,更重新定义了技术与需求的关系:技术突破的价值,不在于参数的堆砌,而在于…

2025-11-13

企业展厅多媒体设备保养指南:从日护到年检的分层维护策略
企业展厅多媒体设备保养频率需按“基础养护+定期检查+深度维护”分层设定,核心频率为每日、每周、每月、每季度,部分设备需年度专业维保。检查设备开机状态,测试核心功能(显示、音响、互动响应)是否正常。 请专业人…

2025-11-13

2025网购流量卡选购指南:不同场景实测教你选到网速稳的好卡
所以,简单概括一下:一张正规的网购流量卡,其网速表现与同运营商的线下套餐并无本质差异。 在流量卡领域,我认为“便宜”不一定直接等于“网速差”。•警惕“物联卡”冒充手机流量卡

2025-11-13

苹果设备与电信流量卡全攻略:从兼容到技巧,助你畅享无忧网络
•运营商网络覆盖差异•手机版本支持频段不同•套餐类型与设备性能不匹配最新的iPhone 14系列甚至已经支持电信的5GSA组网,网速体验绝对令人惊艳!

2025-11-12

2025金砖大赛大数据分析赛项落幕 多元力量共促数智化人才培养新篇章
新道科技助理总裁唐梦彬在致辞中表示,大赛把企业数智化转型过程中的业务模式、典型场景与大数据分析技术相结合,体现行业和企业对人员技能的最新标准,让师生深入了解当前数智化企业的运营和管理模式,提升大数据分析的理…

2025-11-12

量子安全网络新突破:CV-QKD可插拔模块开启高效规模化部署新篇
CUbIQ Technologies:开发了 CV-QKD 收发模块和量子安全架构HPE Juniper网络:将模块集成到其路由平台中,实现量子安全 MACsec 加密Coherent 高意:提供 400…

2025-11-12