6月份,在DIA年會,F(xiàn)DA首席AI官Jeremy Walsh和數(shù)據(jù)科學與AI政策副主任Tala Fakhouri均談及了剛剛在6月初發(fā)布的FDA內(nèi)部AI工具Elsa,對業(yè)界的諸多疑問進行了不同程度的回應(yīng)。近期發(fā)布的一篇針對AI用于審評的FDA研究文獻也提供了一些參考信息。但Elsa的面目對于業(yè)界來說仍不明朗。此外,F(xiàn)DA局長Makary表示Elsa將在數(shù)周之后迎來2.0版本更新。
“我們沒有將其用于監(jiān)管決策”“沒什么新東西”
Fakhouri強調(diào),Elsa 平臺主要被應(yīng)用于協(xié)助處理藥品申請審評過程中的行政事務(wù),以此來加快整個審評流程,“我們沒有將其用于監(jiān)管決策”。
FDA 在 6 月初宣布,鑒于該平臺在前期與科學審評人員開展的試點項目中取得了成功,決定將其推廣至整個機構(gòu)使用。當時FDA局長Makary還指出,此舉是FDA快速整合人工智能到其日常運營中的初步舉措。
據(jù)Fakhouri介紹,Elsa 的使用并不涉及監(jiān)管決策層面,審評人員依舊掌握著做出監(jiān)管決策的權(quán)力。Elsa 在審評流程中所發(fā)揮的作用與制藥行業(yè)使用相關(guān)工具的情況一致,主要是提升行政任務(wù)的處理效率,“沒什么新東西”。Walsh也提到,F(xiàn)DA 的工作人員以多種方式使用 Elsa ,有的將其用于申請審評流程中,以壓縮某些環(huán)節(jié)的時間,有的則僅用于處理行政事務(wù)。
“不會產(chǎn)生幻覺”,“許多雙眼睛盯著”
Walsh表示,F(xiàn)DA 已經(jīng)采取措施防止 Elsa 出現(xiàn)“幻覺”,不允許它產(chǎn)生想象中的內(nèi)容。那么是如何做到的呢?他提到,F(xiàn)DA 已經(jīng)提供了培訓、指導和彈出式消息,以確保工作人員驗證他們從 Elsa 獲得的信息。并且當工作人員在處理文件時,系統(tǒng)會提供引用,以便驗證 Elsa 的輸出結(jié)果。當FDA要推出任何內(nèi)容時,Walsh說,總有來自多個層次的專業(yè)人士的“許多雙眼睛盯著”(by a lot of eyes)。
相比一些業(yè)界人士想象的AI審評,Walsh更強調(diào)通過AI協(xié)助實現(xiàn)一個“實時監(jiān)管環(huán)境”(real-time regulatory environment)。這可能意味著實時接收、審查和批準申請,也可能是實時進行檢查、監(jiān)督和確保合規(guī)。他以 FDA 的哨兵計劃(Sentinel Initiative)為例,該計劃跟蹤受監(jiān)管產(chǎn)品的安全報告,目前最快需要 3-4 周時間才能輸出研究報告。而使用 AI 工具,他們有機會實時生成這些報告,從而改善上市后和上市前的監(jiān)督。
“沒有實時連接互聯(lián)網(wǎng)”,“商業(yè)秘密沒有用于訓練模型”
針對保密信息的安全性問題,F(xiàn)akhouri強調(diào),Elsa 平臺部署在 FDA 的安全系統(tǒng)之上,受防火墻保護,這意味著商業(yè)機密信息和商業(yè)秘密不會被用于訓練該模型,同時該平臺也不接入互聯(lián)網(wǎng),因此提交至FDA的所有數(shù)據(jù)均處于安全狀態(tài)。Elsa 平臺作為一款內(nèi)部工具,主要以離線的方式運行,協(xié)助處理審評過程中的部分行政事務(wù)。
Walsh表示“我不知道 Elsa 是否會有一天能夠?qū)崟r接入互聯(lián)網(wǎng)。” 他確認FDA 的所有模型,尤其是 Elsa,都不會暴露或開放給互聯(lián)網(wǎng),因為那將是一個巨大的安全風險。
Walsh還特別聲明,F(xiàn)DA確保他們用于 Elsa 的所有數(shù)據(jù)以及他們開發(fā)的解決方案都符合聯(lián)邦信息安全現(xiàn)代化法案(Federal Information Security Modernization Act,F(xiàn)ISMA)的高影響要求。他還提到,AI 模型并沒有使用(涉密)數(shù)據(jù)進行訓練,盡管行業(yè)的一些利益相關(guān)者要求他們這樣做。不過他也表示,將來這也可能是一個值得討論的可能性。
從112份指南中,有69.6%可能找到正確答案
FDA對Elsa的細節(jié)透露甚少,但FDA人員近期發(fā)布了一篇文獻《Semantic Search of FDA Guidance Documents Using Generative AI(使用生成式人工智能(AI)對 FDA 指南文件進行語義檢索)》,該研究的核心目標與Elsa的功能高度契合,正是評估生成式AI結(jié)合檢索增強生成(Retrieval-Augmented Generation,RAG)工具,是否能夠準確回答審評人員有關(guān)FDA指南文件內(nèi)容的問題。研究從2023年9月開始,文章于2024年12月提交,這意味著研究所用的大語言模型(LLM)并非最新技術(shù),但其研究方法和結(jié)論對于評估Elsa的實效仍具參考價值。
研究的數(shù)據(jù)來源是FDA的指南文件。研究團隊排除了與臨床審評不直接相關(guān)的主題,先從2700份指南文件中篩選711份文件,再進一步由專家團隊選擇了112份具有廣泛適用性的文件作為知識庫進行測試。研究人員創(chuàng)建了問答對(包含問題和預(yù)期答案)以及一套評分標準考察LLM的效果。
最終結(jié)果顯示,結(jié)合RAG的GPT-4 Turbo在33.9%的情形下生成正確回答并提供額外的有用信息;35.7%生成正確回答;17.0%生成的回答包含部分正確信息;而13.4%生成的回答包含錯誤信息。此外,RAG應(yīng)用能夠在89.2%的情形下正確引用源文件。
基于上述研究可見,整合RAG的AI許多時候能夠識別正確的指南文件并回答問題,可能會減少檢索正確答案所需的時間。但由于指南文件可能被申辦者和FDA用于指導重要的藥物開發(fā)決策,任何錯誤信息均可能產(chǎn)生顯著的負面影響。未來仍需更多研究,采用各種工程手段來提高答案的準確度。
四川省醫(yī)藥保化品質(zhì)量管理協(xié)會組織召開
2025版《中國藥典》將于2025年10月..關(guān)于舉辦四川省藥品生產(chǎn)企業(yè)擬新任質(zhì)量
各相關(guān)企業(yè): 新修訂的《中華人..四川省醫(yī)藥保化品質(zhì)量管理協(xié)會召開第七
四川省醫(yī)藥保化品質(zhì)量管理協(xié)會第七..“兩新聯(lián)萬家,黨建助振興”甘孜行活動
為深入貫徹落實省委兩新工委、省市..學習傳達中央八項規(guī)定精神專題會議
2025年4月22日,協(xié)會黨支部組織召..關(guān)于收取2025年度會費的通知
各會員單位: 在過去的一年里,..四川省應(yīng)對新型冠狀病毒肺炎疫情應(yīng)急指
四川省應(yīng)對新型冠狀病毒肺炎疫情應(yīng)..四川省應(yīng)對新型冠狀病毒肺炎疫情應(yīng)急指
四川省應(yīng)對新型冠狀病毒肺炎疫情應(yīng)..