廣州頤能基于開源鴻蒙的星閃配電感知方案，賦能配電物聯網運維升級
熱點新聞
潤和軟件StackRUNS異構分布式推理框架行業應用案例
編輯：發布時間：2025-06-11瀏覽次數：64
江蘇潤和軟件股份有限公司（以下簡稱“潤和軟件”）自主研發的StackRUNS異構分布式推理框架已在實際場景中取得顯著成效，成功應用于大型園區多模態模型演練及高校滿血版DeepSeek-MoE 671B的運行，有效推動了大模型技術的快速落地。
案例一：大型園區多模態模型演練
由于建設分期不同及承建單位多樣，該智慧園區的AI基礎設施呈現出高度異構特征，包括NVIDIA T4、NVIDIA 3090、Atlas 300I DUO等多種AI加速設備，并在不同場景下協同運行。這些設備承擔著包括人流密度監測、人臉識別、車牌抓拍等計算機視覺任務，系統負載、資源調度與運維策略已形成穩定運行機制。
近期，該園區在安防升級過程中面臨一項臨時但復雜的智能分析挑戰：在突發事件響應、演練預警或夜間非業務時段，需臨時部署并運行多模態大模型，實現圖文聯合理解、行為鏈條分析、場景異常檢測等復雜推理任務。該需求需在不增加硬件投入、不影響現有業務運行的前提下完成。
為應對這一挑戰，潤和軟件自研的StackRUNS異構分布式推理框架成為關鍵解決方案。該框架具備以下核心能力：
1. 異構算力識別與建模：自動識別各設備的計算能力、顯存規格與精度支持能力，為模型切片和任務分配提供實時依據；
2. 模型智能切分與并行執行：支持基于專家路由與自動切分策略，將超大模型按需劃分為多個計算子任務，分布式調度到可用節點；
3. 輕量級調度與動態推理通路編排：在不干擾現有CV業務的前提下，構建獨立推理通路，臨時占用空閑資源執行推理任務，任務完成后自動回收；
4. 混合精度與量化模型支持：支持INT8、INT4等低精度模型快速加載，提升內存利用率與執行效率；
5. 統一通信與高效協同機制：通過通信適配層封裝多協議通信接口，實現多設備間高效數據傳輸與協同執行。
StackRUNS多模態模型場景圖
StackRUNS幫助超大模型在資源受限、基礎設施異構的環境中，實現“即需即調、彈性運行、無感部署”的能力，顯著提升園區對突發安防場景的智能響應水平，為大模型在城市級AI基礎設施中的靈活應用提供了可復制范式。
案例二：高校運行滿血版DeepSeek-MoE 671B
某高校在人工智能教學與科研實踐中，面臨運行超大規模模型的現實挑戰。一方面，教學樓、實驗樓與計算中心分布著多種異構計算資源，包括GPU、NPU設備及部分高性能CPU節點；另一方面，受限于經費與硬件條件，難以通過集中式部署滿足超大模型推理需求。
為此，該高校引入潤和軟件自研的StackRUNS異構分布式推理框架，成功在現有資源基礎上部署并運行了DeepSeek-MoE 671B級別的多模態大模型。
1. 通信開銷高，跨設備、節點推理效率受限：傳統通信架構難以適配異構環境，頻繁阻塞；
2. 模型規模大、結構復雜度高：單個子模型或路由后激活路徑仍需百GB級顯存支撐，傳統GPU、NPU單卡難以支撐模型加載與中間態存儲；
3. 切片并行策略自動生成難：模型需劃分為跨卡跨節點子圖，兼顧通信代價、算子依賴與硬件負載能力，自動化策略生成復雜；
4. 模型運行狀態監控與可視化困難：推理過程中需監控路由結果、設備負載、通信代價、緩存命中率等。
通過StackRUNS部署滿血版DeepSeek示例圖
借助StackRUNS，高校成功打通了異構設備之間的算力協同壁壘，實現了超大模型的低門檻部署與高效推理，廣泛應用于圖文語義理解、跨模態知識挖掘、學生AI實驗等場景。該方案不僅顯著提升了設備利用率與推理任務執行效率，也加速了人工智能專業課程與科研課題向真實算力環境的落地驗證，真正實現了“在資源有限條件下，用分布式智能拼出超級算力”，為高校人工智能教學與科研提供了強有力的技術支撐。
往期回顧
