巨人天成
产经 科技 企业 数据 峰会 快讯 商业

基石智算CoresHub升级:第三方模型一键部署,推理服务更便捷!

2025-06-10来源:ITBEAR编辑:瑞雪

基石智算CoresHub近期对其模型推理服务进行了全面革新,为用户带来了更加便捷高效的模型部署与推理体验。现在,用户可以在魔搭、Hugging Face等平台轻松下载模型,并直接通过基石智算的推理服务进行一键部署,快速对外提供API接口能力。用户还可以选择利用基石智算的模型调优服务进行二次训练,进一步提升模型性能后再进行部署。

在推理服务过程中,基石智算凭借其强大的弹性扩缩容能力,能够根据业务并发量的实际需求,灵活调整推理服务的规模。这一特性不仅显著提升了业务的运行效率,还有效降低了算力成本,为用户带来了实实在在的经济效益。

以下是一个以从魔搭下载模型为例,通过基石智算模型推理服务一键部署模型的详细操作流程:

首先,用户需要在魔搭平台上选择并下载所需的模型文件,然后将这些文件存储到指定的存储目录中。为了完成这一步骤,用户可以创建一个无卡启动实例,并挂载文件存储,以便在Web连接窗口中执行相关命令。

在Web连接窗口中,用户可以查看魔搭平台提供的模型下载命令,并使用Git工具进行下载。如果遇到大文件下载失败的情况,用户还可以执行相应的代码来解决这一问题。

接下来,用户需要进入基石智算的“模型管理”界面,添加已下载的模型。在这一步骤中,用户需要选择模型文件、输入模型名称等相关信息,并选择适合的部署方式。基石智算支持单节点和多节点部署,用户可以根据实际需求进行选择。

在选择部署方式后,用户还需要选择资源类型,如GPU等,以满足模型的推理需求。部署成功后,用户可以在服务信息界面查看服务详情、监控信息和日志记录,以便随时了解模型的运行状态。

当业务并发量增加时,用户可以通过增加推理实例的数量来扩展推理服务的规模,以满足更高的并发需求。例如,当一张4090显卡无法满足DeepSeek-R1-1.5B模型的最高100并发量时,用户可以增加到两张4090显卡的实例进行部署。

最后,用户可以使用第三方客户端如Cherry Studio来调用已部署的模型。用户只需在Cherry Studio中添加模型服务提供商,并配置相应的API密钥和API路径,即可在平台上轻松切换并使用已添加的模型进行对话等操作。

光联携手利元亨,共话新能源制造AI时代网络新路径与新机遇
聚焦企业在全球范围内的多分支互联与云IDC接入问题,方案基于光联自建全球光纤骨干网络及华为SD-WAN设备,支持MPLS、Internet与4G/5G等多种链路融合,并可弹性部署多种拓扑模型,实现总部、分支…

2025-11-15

恒为科技:从可视化到智算,让复杂算力“看得见、管得住”
这家公司从 2003 年起步,长期在“网络可视化”和“智能系统平台”两条看似技术化的赛道上耕耘,逐步在运营商、科研院所、大型行业客户中建立信任与交付能力。它不像爆款公司那样靠一款产品跑路,而是靠一条条项目、…

2025-11-15

“祖冲之三号”同款芯片赋能!我国超导量子计算机“天衍-287”搭建完成并开放服务
据了解,该量子计算系统具备“量子计算优越性”能Q力,处理特定问题的速度比目前最快的超级计算机快4.5亿倍,未来将接入“天衍”量子计算云平台并首次面向全球开放应用服务,这也将是我国首个具备“量子计算优越性”的量…

2025-11-14

6寸LCD显示屏:小身材大能量,技术优势与多元应用前景深度剖析
采用IPS等先进技术的6寸LCD屏,能够实现更广色域覆盖,色彩显示真实自然,更适用于图像监控、医疗设备显示、智能终端等对色彩还原要求较高的场合。 随着技术的不断发展,6寸LCD显示屏将在未来呈现更高清、更智…

2025-11-14

小天互连IM系统:打破政企信息孤岛 驱动一体化协作新变革
某省级政务大厅在信创升级中,通过小天互连IM系统实现了与政务服务平台、电子证照系统的无缝对接,群众办事进度可直接通过即时通讯推送,办理效率提升50%,印证了其国产化集成的稳定性。 从国产化生态适配到开放 A…

2025-11-14

水库增殖放流站物联网升级:实时监测,远程管控,开启智慧渔业新模式
通过接入溶解氧传感器、水温传感器、水质监测仪、自动投料机、自动增氧机、循环水设备PLC、摄像头等多种设备,物通博联智能数采网关能够实时采集各个鱼池的水质、溶解氧、水温以及投料、增氧、循环水等设备状态,通过5…

2025-11-14

水浸传感器RS-SJ:4G蓝牙双助力,高效守护防积水安全
当检测到水浸情况时,相关信息会通过4G网络快速传输至指定的管理平台或用户终端,无需人工现场查看,让用户在第一时间知晓积水隐患,为及时采取排水、设备转移等应对措施争取时间,避免积水造成更大损失。 水浸传感器凭借…

2025-11-14

中国电信2025年云网路由交换设备集采结果揭晓
中国电信近日宣布,其云网路由交换设备(2025年)集中采购项目已顺利完成评审工作。此次采购项目规模庞大,涉及多个关键网络设备领域,旨在进一步优化和提升云网基础设施能力。

2025-11-13

中国电信AI赋能6G发展:创新技术引领通信变革,拓展产业融合新路径
中电信数智科技有限公司“一种基于6G的天地一体化传输优化及拓扑测绘的方法”获国家发明专利授权,这项专利涵盖卫星与地面网络协同通信、频谱资源共享、高效信号传输等多个核心技术领域,为6G的落地应用铺设了一条“高…

2025-11-12

量子卫星引领通信变革:搭建全球高速安全互联的量子通信新桥梁
卫星可将纠缠光子发送到地面,实现长距离量子通信。 地面量子网络通过卫星互联全球量子密钥分发网络形成实现真正安全、分布式通信3. 军事与国防应用 随着技术成熟和全球布局加速,未来的互联网将不再依赖传统线路,而…

2025-11-12