新闻中心
cnnw
案例拆解:医疗AI基础设施如何从"可建设"走向"可运营"?——富通云枢 × 富通元枢打造省级医疗AI算力运营枢纽创新实践

随着“人工智能+医疗健康”行动持续推进,大模型、智能体等AI技术正在加速进入临床辅助、医学科研、健康管理等应用场景,对底层算力资源、模型服务能力和运营管理体系提出了更高要求。

在推进区域医疗AI能力建设过程中,某省卫健委启动AI算力运营枢纽建设,希望整合区域内分散的算力资源和AI能力,为医疗机构、科研单位等用户提供统一、高效、安全的AI基础设施服务。

围绕这一建设目标,富通科技(00465.HK)基于富通云枢企业级数字全资产运营平台富通元枢词元运营平台两大产品能力,承担该省级医疗AI算力运营枢纽建设项目,实现多源算力统一纳管、模型服务标准化接入、Token调用精细化计量以及平台运营可视化管理,探索医疗领域AI基础设施服务化运营的新模式。

该实践成功入选2026年度可信Token云服务创新实践。





项目实践:破解医疗AI规模运营三大业务场景难题

在该项目启动前,该省已建设多套AI算力资源,为医疗机构和科研单位提供基础算力支撑。但随着大模型和智能体应用逐步进入业务场景,客户逐渐发现,真正制约AI规模应用的并非资源建设能力,而是运营体系能力。这些问题集中体现在算力资源供给、AI服务运营和医疗数据安全三个核心业务场景中:

场景一:区域算力“忙闲不均”,如何让算力资源随需而动?



  • 典型业务困境

算力总量不算少,但真正需要的时候却总是“调不出来、用不上”。自营云、联营云、第三方公有云等多类算力资源分别由不同体系独立建设和运营,各自为政,资源状态不透明,运营团队无法实时掌握全域算力分布和使用情况。

这种局面对医疗机构和科研单位的影响是直接的——临床科室或科研团队提出算力申请后,运营方需要分别向多个资源池逐一确认可用情况,流程冗长且结果不确定。部分科研任务因算力资源交付周期较长影响项目推进,部分医疗机构AI应用上线效率受到制约;与此同时,另一些资源池却长期处于闲置状态,整体GPU利用率不足40%。

问题的本质并非算力短缺,而是算力资源缺乏统一运营调度,导致供给与需求之间始终存在结构性错配,难以形成面向全省医疗机构持续、稳定、高效的算力服务能力。

  • 富通解决方案

富通云枢帮助客户建立了统一的算力资源运营体系,将分散在多源异构环境中的算力资源统一接入、统一纳管,转化为可统一调配的算力资源池。平台将底层GPU/NPU资源封装为标准化算力服务——业务部门提出算力需求,运营团队即可在平台上一键完成资源匹配与分配,无需关注底层是哪种芯片、来自哪个云平台。

当医疗机构或科研团队提出新的算力需求时,运营团队可以在平台上实时查询可用资源状态,按需完成算力分配与交付。新算力资源接入平台所需的时间从原来的平均2周缩短为3天。分散的算力资源得以统一调度、随需而动,真正成为区域共享的基础设施。

场景二:AI用量激增,Token消耗如何算得清、分得明?



  • 典型业务困境

随着区域AI算力枢纽投入运营,越来越多的医院、科研机构和业务部门开始接入并使用平台上的模型服务,AI调用量持续快速增长,日调用峰值已超过200万次。

用量增长的背后,一个新的运营难题随之浮现:每一次AI调用都会产生Token消耗,而Token消耗直接对应着成本。但在缺乏精细化计量体系的情况下,平台运营方面临一系列无法回避的问题——哪些租户、哪些部门、哪些项目在使用AI服务?各自消耗了多少Token?对应的成本该归属于谁?

这个问题带来的影响是多方面的:内部结算时因用量数据不准确导致争议,预算管理因缺乏消耗数据而无法精准制定,运营方也无法向各使用方提供可信的账单,AI服务规模化运营就缺少了统一计量、成本核算和运营管理基础。在项目建设前,该区域平台实际发生的Token漏计率达到约5%,意味着相当一部分AI服务用出去了、但没计到账上。

  • 富通解决方案

富通元枢建立了请求级Token精细化运营体系。每一次AI调用请求,平台都会记录调用方、调用时间、消耗Token数量、所用模型等关键信息,将Token消耗精确归集到具体的使用主体和业务场景,支持消耗统计、成本归集、分账对账等完整运营能力。

为了保证在高并发场景下每一次调用的计费数据都能准确记录而不影响业务响应速度,项目采用“边缘预聚合+异步上报”方案,边缘节点实时预聚合秒级数据,中心节点异步落盘,兼顾了实时性(<3秒延迟)和精度(99.99%)。每一次AI调用都有据可查,为商业化运营提供了可信的计量底座。

场景三:医疗数据不能出域,如何让AI服务真正进入业务场景?



  • 典型业务困境

医疗行业对患者数据安全有着严格的法律法规要求和行业规范约束。对于医院和信息主管部门而言,患者影像、病历、检验报告等原始数据在任何情况下都不得上传至公有云或外部平台,这是不可逾越的安全红线。

然而,区域AI算力枢纽的模型服务通常部署在中心节点,而数据却分散在各医院内部。这就形成了一个两难局面:模型在中心、数据在院内,AI服务如何才能安全地触达医疗业务场景?如果因为数据不能出域而要求医院将数据上传,合规层面无法通过;如果因为安全顾虑而放弃使用中心的AI模型能力,区域枢纽的建设价值又大打折扣。

  • 富通解决方案

项目采用“数据不动、模型动”的技术方案。平台不收集、不存储任何原始医疗数据,仅负责模型调度和运营管理。当医院发起AI推理请求时,平台通过专线将模型下发至医院本地的算力节点,推理过程完全在院内完成,推理结果经脱敏后返回平台,平台仅保留调用日志及计费信息。

同时,平台构建了网络、应用、数据三层安全体系,实现租户隔离、RBAC权限控制、全链路操作审计等能力,全面满足医疗行业等保三级合规要求。该枢纽的AI服务能力在安全合规前提下实现了医疗核心业务的真正触达。



云枢筑底、元枢运营,协同构建AI基础设施运营体系

富通科技基于富通云枢数字运营中枢能力与富通元枢Token运营能力,为本项目构建了一套覆盖资源供给、模型服务、Token运营、安全治理与运营可视化的AI算力运营体系架构。

  • 资源运营层(富通云枢:承担多源异构算力统一接入、统一纳管与统一调度,实现算力资源池化运营;同时面向各类用户提供统一服务门户,实现算力申请、模型调用、用量查询等全流程一站式服务。

  • 模型服务与Token运营层(富通元枢 :实现多模型服务标准化接入、智能路由调度,以及请求级Token计量、成本核算和运营分析,让AI服务可统计、可归属、可核算。

  • 安全合规与运营可视:安全合规能力贯穿资源、模型、运营各层,并通过算力中心分布图、资源监控大屏、运营概览等可视化模块,实现AI基础设施运行状态透明化管理。

以上各层协同运作,共同构成支撑该区域医疗AI算力可持续运营的完整体系。  



建设成效:让AI算力真正实现服务化运营

目前,平台已完成多个算力中心统一纳管,形成百P级智能算力资源池,为20余家医院、10余家科研机构提供AI算力服务,平台运营数据已实现常态化可视化展示。

在资源运营层面,客户首次建立了区域级算力资源统一运营体系,实现资源从分散管理向集中运营转变:

  • GPU整体资源利用率由40%提升至70%;

  • 多控制台运维模式升级为统一运营门户,故障平均定位时间由小时级降至分钟级;

  • 新模型及新算力资源平均接入周期由2周缩短至3天。

在AI运营层面,客户进一步建立了覆盖模型接入、Token计量、成本核算和生态开放的AI持续运营体系:

  • 基于请求级Token计量能力,每一次AI调用产生的Token消耗均可精确归集至租户、部门及项目,实现AI成本精细化核算,资源漏计率由约5%降至0.1%以下。

  • 统一API服务体系降低第三方开发者和合作伙伴接入门槛,目前已有超过10家医疗AI企业基于平台开展应用开发,并上架多类医疗模型及AI应用,初步形成区域AI算力服务生态。


随着AI建设逐步进入规模化运营阶段,企业竞争的重点正从"建设能力"转向"运营能力"。该项目不仅验证了富通科技在医疗领域复杂AI基础设施环境下的建设与运营能力,也展现了富通云枢与富通元枢协同构建AI基础设施运营体系的实践价值。

这一能力体系还可进一步迁移至政务、科研、制造等更多行业场景,持续支撑企业和行业客户构建统一、高效、安全、可运营的AI基础设施,为人工智能规模化应用提供坚实底座。