成人午夜又粗又硬又长_鲁一鲁AV2019在线_欧美深深色噜噜狠狠yyy_www.91色.com_色影音先锋av资源网_特级做A爰片久久毛片A片喷水_99精品无人区乱码1区2区3区_国产人妻久久精品一区_欧美午夜精品久久久久久浪潮_av免费无码天堂在线_蜜桃色欲AV久久无码精品软件_日美一级毛片_久久久久久久久性潮_国产乱对白精彩_日韩精品免费一区二区_亚洲欧美精品在线_无码国产69精品久久久久_开心五月综合激情综合五月_干一夜综合_亚洲中文有码字幕日本

當前位置: 首頁 > 新聞 > 國際新聞
國際新聞
不決策,人工去幻覺,離線缺訓練:FDA的Elsa仍蒙面紗
發(fā)布時間: 2025-07-01     來源: 識林

6月份,在DIA年會,F(xiàn)DA首席AI官Jeremy Walsh和數(shù)據(jù)科學與AI政策副主任Tala Fakhouri均談及了剛剛在6月初發(fā)布的FDA內(nèi)部AI工具Elsa,對業(yè)界的諸多疑問進行了不同程度的回應(yīng)。近期發(fā)布的一篇針對AI用于審評的FDA研究文獻也提供了一些參考信息。但Elsa的面目對于業(yè)界來說仍不明朗。此外,F(xiàn)DA局長Makary表示Elsa將在數(shù)周之后迎來2.0版本更新。

“我們沒有將其用于監(jiān)管決策”“沒什么新東西”

Fakhouri強調(diào),Elsa 平臺主要被應(yīng)用于協(xié)助處理藥品申請審評過程中的行政事務(wù),以此來加快整個審評流程,“我們沒有將其用于監(jiān)管決策”。

FDA 在 6 月初宣布,鑒于該平臺在前期與科學審評人員開展的試點項目中取得了成功,決定將其推廣至整個機構(gòu)使用。當時FDA局長Makary還指出,此舉是FDA快速整合人工智能到其日常運營中的初步舉措。

據(jù)Fakhouri介紹,Elsa 的使用并不涉及監(jiān)管決策層面,審評人員依舊掌握著做出監(jiān)管決策的權(quán)力。Elsa 在審評流程中所發(fā)揮的作用與制藥行業(yè)使用相關(guān)工具的情況一致,主要是提升行政任務(wù)的處理效率,“沒什么新東西”。Walsh也提到,F(xiàn)DA 的工作人員以多種方式使用 Elsa ,有的將其用于申請審評流程中,以壓縮某些環(huán)節(jié)的時間,有的則僅用于處理行政事務(wù)。

“不會產(chǎn)生幻覺”,“許多雙眼睛盯著”

Walsh表示,F(xiàn)DA 已經(jīng)采取措施防止 Elsa 出現(xiàn)“幻覺”,不允許它產(chǎn)生想象中的內(nèi)容。那么是如何做到的呢?他提到,F(xiàn)DA 已經(jīng)提供了培訓、指導和彈出式消息,以確保工作人員驗證他們從 Elsa 獲得的信息。并且當工作人員在處理文件時,系統(tǒng)會提供引用,以便驗證 Elsa 的輸出結(jié)果。當FDA要推出任何內(nèi)容時,Walsh說,總有來自多個層次的專業(yè)人士的“許多雙眼睛盯著”(by a lot of eyes)。

相比一些業(yè)界人士想象的AI審評,Walsh更強調(diào)通過AI協(xié)助實現(xiàn)一個“實時監(jiān)管環(huán)境”(real-time regulatory environment)。這可能意味著實時接收、審查和批準申請,也可能是實時進行檢查、監(jiān)督和確保合規(guī)。他以 FDA 的哨兵計劃(Sentinel Initiative)為例,該計劃跟蹤受監(jiān)管產(chǎn)品的安全報告,目前最快需要 3-4 周時間才能輸出研究報告。而使用 AI 工具,他們有機會實時生成這些報告,從而改善上市后和上市前的監(jiān)督。

“沒有實時連接互聯(lián)網(wǎng)”,“商業(yè)秘密沒有用于訓練模型”

針對保密信息的安全性問題,F(xiàn)akhouri強調(diào),Elsa 平臺部署在 FDA 的安全系統(tǒng)之上,受防火墻保護,這意味著商業(yè)機密信息和商業(yè)秘密不會被用于訓練該模型,同時該平臺也不接入互聯(lián)網(wǎng),因此提交至FDA的所有數(shù)據(jù)均處于安全狀態(tài)。Elsa 平臺作為一款內(nèi)部工具,主要以離線的方式運行,協(xié)助處理審評過程中的部分行政事務(wù)。

Walsh表示“我不知道 Elsa 是否會有一天能夠?qū)崟r接入互聯(lián)網(wǎng)。” 他確認FDA 的所有模型,尤其是 Elsa,都不會暴露或開放給互聯(lián)網(wǎng),因為那將是一個巨大的安全風險。

Walsh還特別聲明,F(xiàn)DA確保他們用于 Elsa 的所有數(shù)據(jù)以及他們開發(fā)的解決方案都符合聯(lián)邦信息安全現(xiàn)代化法案(Federal Information Security Modernization Act,F(xiàn)ISMA)的高影響要求。他還提到,AI 模型并沒有使用(涉密)數(shù)據(jù)進行訓練,盡管行業(yè)的一些利益相關(guān)者要求他們這樣做。不過他也表示,將來這也可能是一個值得討論的可能性。

從112份指南中,有69.6%可能找到正確答案

FDA對Elsa的細節(jié)透露甚少,但FDA人員近期發(fā)布了一篇文獻《Semantic Search of FDA Guidance Documents Using Generative AI(使用生成式人工智能(AI)對 FDA 指南文件進行語義檢索)》,該研究的核心目標與Elsa的功能高度契合,正是評估生成式AI結(jié)合檢索增強生成(Retrieval-Augmented Generation,RAG)工具,是否能夠準確回答審評人員有關(guān)FDA指南文件內(nèi)容的問題。研究從2023年9月開始,文章于2024年12月提交,這意味著研究所用的大語言模型(LLM)并非最新技術(shù),但其研究方法和結(jié)論對于評估Elsa的實效仍具參考價值。

研究的數(shù)據(jù)來源是FDA的指南文件。研究團隊排除了與臨床審評不直接相關(guān)的主題,先從2700份指南文件中篩選711份文件,再進一步由專家團隊選擇了112份具有廣泛適用性的文件作為知識庫進行測試。研究人員創(chuàng)建了問答對(包含問題和預(yù)期答案)以及一套評分標準考察LLM的效果。

最終結(jié)果顯示,結(jié)合RAG的GPT-4 Turbo在33.9%的情形下生成正確回答并提供額外的有用信息;35.7%生成正確回答;17.0%生成的回答包含部分正確信息;而13.4%生成的回答包含錯誤信息。此外,RAG應(yīng)用能夠在89.2%的情形下正確引用源文件。

基于上述研究可見,整合RAG的AI許多時候能夠識別正確的指南文件并回答問題,可能會減少檢索正確答案所需的時間。但由于指南文件可能被申辦者和FDA用于指導重要的藥物開發(fā)決策,任何錯誤信息均可能產(chǎn)生顯著的負面影響。未來仍需更多研究,采用各種工程手段來提高答案的準確度。 

代理服務(wù)
主站蜘蛛池模板: 吉安县| 金坛市| 龙口市| 垦利县| 桐城市| 和静县| 田林县| 翁牛特旗| 山阳县| 缙云县| 张掖市| 全椒县| 建水县| 土默特右旗| 岱山县| 大竹县| 大城县| 广饶县| 普定县| 昌吉市| 建昌县| 延津县| 陆良县| 二手房| 青浦区| 弋阳县| 临高县| 贵定县| 温宿县| 专栏| 卢湾区| 瑞昌市| 佛山市| 瓮安县| 白河县| 特克斯县| 山东| 乌兰浩特市| 汶上县| 英山县| 咸宁市|