潤和軟件破局昇騰310B輕量化難題！openEuler嵌入式適配解鎖邊緣AI高效部署新范式
熱點新聞
潤和軟件構建基于“昇騰+openEuler+OpenHarmony+DeepSeek”的全場景云-邊-端智能生態體系
編輯：發布時間：2025-02-13瀏覽次數：1839
目前，數字化與智能化的深度融合正重塑千行萬業的競爭格局。江蘇潤和軟件股份有限公司（以下簡稱“潤和軟件”）以昇騰AI算力為引擎、openEuler開源系統為基石、OpenHarmony全場景連接為脈絡，結合DeepSeek行業大模型，正式推出覆蓋云-邊-端的智能生態體系，實現了“云端智能決策、邊緣實時響應、終端無縫交互”的全鏈協同，通過開源技術與自主創新能力的深度耦合，開啟“軟硬一體、生態無界”的新范式。
潤和軟件全場景云-邊-端智能生態體系
AI時代中，企業不僅需要前瞻性的技術布局，更需破解“算力成本高、端側部署困難、場景碎片化”的核心痛點，潤和軟件以全棧自主可控為根基，以軟硬協同、場景驅動、生態開放為支點，實現5大技術突破，為企業構筑從模型開發到落地部署的“零摩擦”智能升級路徑。
云邊協同智能
通過“昇騰910芯片+openEuler開源操作系統+DeepSeek模型”，潤和軟件打造了云端訓練平臺，實現大規模數據并行處理與高精度模型優化；依托“昇騰310芯片+OpenHarmony開源操作系統+DeepSeek模型”構建了邊端推理系統，實現實時低延時智能推理。二者協同融合，形成了從云端訓練到邊端推理的全鏈路閉環系統，為行業提供了全場景、高效、穩定的智能計算解決方案。
-
云端：潤和軟件基于openEuler開源操作系統發行的HopeOS AI版本，實現了昇騰910芯片與操作系統內核的無損兼容，基于HopeOS AI版的NUMA親和性調度以及容器化編排，可以支持多卡集群分布式訓練。
-
邊端：在昇騰310芯片上，潤和軟件基于OpenHarmony開源操作系統的分布式軟總線、統一數據管理能力與DeepSeek輕量化模型相結合，支持邊緣設備間低時延通信與協同推理。
云邊協同訓練推理示意圖
統一推理引擎hoperun_llm，南北向兼容
-
南向：通過硬件抽象層（HAL）適配多類芯片（昇騰910、昇騰310、RKNPU等），屏蔽底層差異，實現“一次開發，多端部署”。
-
北向：支持PyTorch、TensorFlow、MindSpore等主流框架模型格式轉換，涵蓋各類開源模型（DeepSeek、Qwen、ChatGLM等），提供統一API接口，同時保證在各操作系統上的穩定運行，降低開發者多模型適配成本，定制輕量化AI運行時。
hoperun_llm 引擎在OpenHarmony上推理DeepSeek 1.5B大模型
量化過程中的質量評估，保證量化精度
量化技術不僅大幅降低了模型的存儲和計算開銷，使其更適合部署在資源受限的邊端設備上，同時通過嚴格的量化精度保證，使模型在高效運行時保持準確的推理能力和穩定的應用效果。
-
分層動態量化：針對大模型不同層級的敏感性差異（如Attention層對量化誤差容忍度低），采用混合精度策略——關鍵層保留FP16精度，非關鍵層壓縮至INT8/INT4甚至更低，兼顧精度與壓縮率。
-
量化質量評估：引入感知量化損失評估，在模型壓縮過程中實時監測輸出偏差，評估精度損失對模型性能的影響。結合行業場景的閾值要求，動態調整量化參數，優化模型在邊端設備上的精度與效率平衡。
原生DeepSeek和1.58bit量化版本了在部分數據集上的評測對比
能效感知的軟硬協同全域調優技術
潤和軟件充分發揮在AI方向上的能力優勢，通過硬件加速與軟件優化能力，全方位性能提升芯片及操作系統性能。
-
硬件加速優化：針對昇騰、瑞芯微等邊端芯片特性，定制算子加速庫加速算法執行，根據訓練推理負載實時調整芯片的電壓與頻率。
-
軟件加速優化：進一步加強AI場景下的openEuler、OpenHarmony開源操作系統的深度調優。
-
軟硬協同：基于潤和軟件在openEuler和OpenHarmony開源操作系統上定制的性能分析工具，以及強化學習算法，自動搜索芯片頻率、內存帶寬、任務并行度的最優組合。
DeepSeek1.5B大模型在RK3588上推理
行業模型微調使能
潤和軟件基于DeepSeek大模型，深度融合行業know-how與全棧AI技術實現從通用智能到行業專屬智能的精準躍遷。
-
行業數據定制化：針對不同行業的特定需求，潤和軟件對各行業的特有數據進行深度分析和定制化處理，確保模型深入學習行業特征，提升模型在行業應用中的準確性和魯棒性。
-
領域知識嵌入：結合行業專家的知識與經驗，潤和軟件通過“知識蒸餾”技術，將領域知識嵌入模型中，幫助模型快速學習行業規則，減少訓練數據需求，提高模型對行業需求的適應性。
-
任務特化微調：針對垂直行業的具體任務，潤和軟件在DeepSeek的基礎上進行微調，優化模型的結構與算法，確保模型在行業應用中具有更高的準確度和推理速度。
經過數據監督微調后，模型在邊端設備部署后的能力增強
未來，潤和軟件將以客戶需求為指引，持續優化AI軟硬件協同能力，深化與DeepSeek系列模型的融合，面向千行萬業提供定制化智能決策與全場景數據洞察服務，提升企業競爭力，共同邁向數智未來。