近日，中科金财在與全球著名半導體公司AMD合作的項目中，特别是在算力調優、調度和軟件生态适配城文等方面(miàn)，取得了顯著的技術進(jìn)展美熱。
目前，中科金财已成(chéng)功完成(chéng)多身什項測試和優化工作，其中在AMD軟件生态層面(miàn)積累了豐富的多機多卡土林訓練經(jīng)驗、推理系統的模型量化、模型轉換、計算圖優化和大小AI框架适配經(jīng)驗。
具體來說(shuō)，通過(guò)與行業專家的緊密合作，中科金财利用ROCm軟件生态工具和AMD GPU利用率可視化工具進(jìn)頻醫行了深入的性能(néng)分析和優化，已完成(chéng)Llama2-7b、Llama2-13b、ChatGL答冷M2模型在AMD芯片上的訓練和推理測試，覆蓋了從單機單卡到多機熱影多卡的多種(zhǒng)配置。經(jīng)過(guò)調優，在訓練方面(miàn)，GPU利用率提升了27%；在推理方面(miàn)木爸，首token返回時(shí)長(chá工們ng)（Time To First Token，TT知慢FT）提升了35%，吞吐量（Throughput 那習QPS，tokens/s）提升了去筆43%，有效加快了訓練和推理過(guò)程。在測試期間紙我，中科金财的汽車、電商和銀行的垂類大模型已經(jīng)可以在AMD的高端人工智能(néng)芯片MI210上請見高效順暢地運行。
未來，中科金财將(jiāng)繼續探索算力調優工作，涵蓋AI應用場景、網絡性能(nén明舞g)、存儲性能(néng)等多個層面(miàn),將(jiāng)幫助行業客戶提升算力性能(中對néng)，降低算力成(chéng)本,并助力多模态大模型的發(fā)展以及AI Agent的應用，從而幫助産業實現AGI的升級。
