近日，DeepSeek發(fā)布了模型更新——DeepSeek-V3-0324，此次升級不僅延續(xù)了DeepSeek系列“低成本、高性能”的基因，更憑借MLA(多頭潛在注意力)和MTP(多Token預測)兩大創(chuàng)新技術，將推理速度顯著提升。京東云DeepSeek一體機第一時間完成適配，相比開源版本性能大幅提升50%。
單機支持超千并發(fā)：單機支持1000+并發(fā)請求，總吞吐突破7200 Token/s，可同時服務超大規(guī)模企業(yè)級AI應用。
極致數(shù)據(jù)吞吐保障：500并發(fā)時仍保持11.03 Token/s，平衡性能與用戶體驗。
據(jù)悉，此次DeepSeek模型更新，通過MLA技術通過將高維特征壓縮至低維潛在空間，顯著減少計算資源消耗；MTP技術則提升數(shù)據(jù)利用效率，實現(xiàn)時間維度的資源優(yōu)化。二者的結合，使得DeepSeek-V3-0324在復雜任務處理中展現(xiàn)出更快的響應速度與更高的穩(wěn)定性。
京東云DeepSeek一體機通過融合MLA+MTP雙技術，為企業(yè)提供無縫適配的推理加速方案。此次支持的DeepSeek-V3-0324版本，延續(xù)了“單機即可部署滿血版模型”的特性，用戶無需復雜配置即可運行完整版大模型，滿足千人規(guī)模企業(yè)的并發(fā)需求。
同時，京東云DeepSeek一體機還支持華為昇騰、海光等國產AI芯片，兼顧性能與安全自主可控。并通過采用自研算力池化與智能推理加速引擎，軟硬協(xié)同下推理速度較開源方案提升高達50%。
當前，京東云DeepSeek一體機已廣泛應用于政務、金融、科研、能源、醫(yī)療、工業(yè)、科研等領域。以“推理加速+算力池化”的雙重策略，實現(xiàn)同等硬件規(guī)格下、同等參數(shù)規(guī)格下更高效的推理能力和資源利用率，通過將復雜的AI工程化過程封裝為標準化產品，讓企業(yè)無需糾結于“造輪子”，而是聚焦于“用AI創(chuàng)造價值”，更好地進行AI智能化轉型。