作為國內(nèi)首家成功部署全量版ＤｅｅｐＳｅｅｋ－Ｒ１－６７１Ｂ的醫(yī)療機構，深圳大學附屬華南醫(yī)院通過創(chuàng)新的量化技術和動態(tài)算力分配策略，實現(xiàn)了千億參數(shù)模型在醫(yī)療場景的落地應用。

面對大模型部署的算力挑戰(zhàn)，華南醫(yī)院通過采用ＩＮＴ４量化技術，將６７１Ｂ模型的顯存需求從１．３４ＴＢ降至３３６ＧＢ，僅需３２張Ｈ１００顯卡即可流暢運行。更巧妙的是，醫(yī)院同時部署了３２Ｂ、７０Ｂ和６７１Ｂ三個版本，讓用戶可以根據(jù)任務復雜度靈活切換，既提升了復雜臨床問題的處理能力，又優(yōu)化了算力資源的使用效率。　　　　　　　　　

在技術落地的過程中，安全性和可靠性是醫(yī)療ＡＩ不可逾越的紅線。華南醫(yī)院人工智能團隊發(fā)現(xiàn)，使用Ｏｌｌａｍａ工具部署時，存在未授權訪問等安全風險。為此，他們通過嚴格的本地網(wǎng)絡隔離和安全加固，并進行了全面的壓力測試，確保系統(tǒng)在高并發(fā)場景下的穩(wěn)定性。　　　　　　　　　　　

針對大模型普遍存在的「幻覺」問題，華南醫(yī)院開創(chuàng)性地將ＲＡＧ技術與專病知識庫相結合。以外掛臨床指南、專家共識等權威資料的方式，不僅顯著提升了回答的準確性，還能標注答案出處，實現(xiàn)了診療建議的可追溯性?！　　　　　?/p>

３月２７日，深圳大學附屬華南醫(yī)院醫(yī)學人工智能研究所副所長張永波做客健康界ＡＬＬ?。椋睢。粒臁。龋澹幔欤簦琛?chuàng)新應用大講堂，揭秘大模型部署工程細節(jié)，分享技術選型、ＡＩ幻覺與安全風險規(guī)避經(jīng)驗，展望「ＡＩ醫(yī)院」從構想逐步變?yōu)楝F(xiàn)實的路徑。

本文精選部分內(nèi)容，供廣大同仁交流，歡迎在評論區(qū)留言。

大模型本地化部署對于硬件資源要求較高，比如ＣＰＵ、ＧＰＵ、內(nèi)存、存儲以及網(wǎng)絡帶寬等。其中顯卡和ＧＰＵ的選擇是重中之重。下表展示了醫(yī)院部署ＤｅｅｐＳｅｅｋ?。遥辈煌瑓?shù)版本的顯存需求以及推薦的顯卡配置?！　?/p>

張永波介紹，華南醫(yī)院在部署的過程中是選擇量化的方式，也就是將模型中的權重和激活從高精度（如?。疲校常不颍疲校保叮┺D(zhuǎn)換為低精度（如ＩＮＴ８或ＩＮＴ４）的過程，從而降低內(nèi)存占用和計算需求，同時縮小模型體積，加速推理?！　　　　　?/p>

醫(yī)院最終選擇了以ＩＮＴ４量化顯存來部署。如此，僅需一個３３６ＧＢ的顯存，３２×Ｈ１００的顯卡配置是能夠完全滿足６７１Ｂ的本地化部署需求?！　　　　?/p>

「盡管醫(yī)院投入了大量硬件資源，但由于６７１Ｂ模型的參數(shù)量龐大，算力需求極高，仍無法滿足全院所有人員的并發(fā)使用需求?！箯堄啦ㄌ寡裕葬t(yī)院部署了三種參數(shù)，希望讓用戶能夠有序地、基于任務的復雜程度去選擇不同的模型版本。

比如簡單對話，３２Ｂ模型版本就能夠很好實現(xiàn)，如果涉及到比如數(shù)學問題、代碼邏輯推理或者復雜的臨床診療問題時，就需要切換到６７１Ｂ全量參數(shù)的模型，讓其去做推理?！　　　　　　　?/p>

（院內(nèi)人員可基于自己的任務需求，切換不同參數(shù)版本模型。）

部署大模型

需防Ｏｌｌａｍａ「裸奔」風險

確定了方略之后，如何進行部署？華南醫(yī)院是基于Ｏｌｌａｍａ工具，進行ＤｅｅｐＳｅｅｋ的本地化部署。

Ｏｌｌａｍａ是一個用于本地運行和管理大語言模型（ＬＬＭ）的命令行工具，它不僅集成了很多包括ＤｅｅｐＳｅｅｋＲ１在內(nèi)的開源大模型，提供適用于ｍａｃＯＳ、Ｗｉｎｄｏｗｓ　及?。蹋椋睿酰榷喾N平臺的安裝包，內(nèi)置了ＧＰＵ相關驅(qū)動，能夠讓用戶在本地環(huán)境中輕松部署、運行和監(jiān)控ＡＩ模型?！　　　　　　　　　　?/p>

「但是Ｏｌｌａｍａ有一個問題，就是滿足了速率，犧牲了性能?！箯堄啦ㄌ寡?，當初華南醫(yī)院人工智能團隊為了能夠快速實現(xiàn)部署而使用了Ｏｌｌａｍａ工具，但是后面在開發(fā)過程中發(fā)現(xiàn)，基于Ｏｌｌａｍａ部署的ＤｅｅｐＳｅｅｋ在高并發(fā)量情況下是存在缺陷的，比如說同時５０個用戶去訪問ＤｅｅｐＳｅｅｋ模型，可能會出現(xiàn)系統(tǒng)崩潰問題?！　?/p>

另一個非常重要的就是安全問題。３月３日，國家網(wǎng)絡安全通報中心發(fā)布《關于大模型工具Ｏｌｌａｍａ存在安全風險的情況通報》，提醒用戶如使用Ｏｌｌａｍａ私有化部署且未修改默認配置，就會存在數(shù)據(jù)泄露、算力盜取、服務中斷等安全風險?！　?/p>

「由于華南醫(yī)院采用本地部署方案，且未開放Ｏｌｌａｍａ的訪問端口，因此有效規(guī)避了潛在的安全風險。」他表示。

在完成本地模型部署后，需要評估當前軟硬件環(huán)境下的模型效能，定位系統(tǒng)瓶頸，也為后期負載均衡提供數(shù)據(jù)支持。張永波介紹，具體可以通過延遲、吞吐量、資源利用率、階梯加壓、極限測試等幾個方面進行性能基準測試和壓力測試。

注：文章來源于網(wǎng)絡，如有侵權，請聯(lián)系刪除