【柳三變專欄】醫學為人工智能做好準備了嗎？

《新英格蘭醫學雜誌》(NEJM )最新發表的<醫學為人工智能做好準備了嗎？>(Is Medicine Ready for AI?) 報導在「意向治療」的這一座談中，Maia Hightower 和 Isaac Kohane 與主持人 Rachel Gotbaum 一起探索人工智能和機器學習工具在醫學臨床和管理用途中的前景和危害。Maia Hightower 博士是芝加哥大學醫學院的首席數位和技術官，也是 Equality AI 的首席執行官； Isaac Kohane 博士是哈佛醫學院生物醫學信息學系主任，也是 NEJM「AI in Medicine」系列的共同主編。

這次的座談，大家有個共識，大家期待：「AI 是決策支持，而不是決策者」。

文 / 柳三變 導讀

Rachel Gotbaum ：歡迎閱讀新英格蘭醫學雜誌的「意向治療」 。我是雷切爾·戈特鮑姆。

蒂莫西·波特魯查：我叫蒂姆·波特魯查。我是哥倫比亞大學的心臟病專家和臨床研究員。我在哥倫比亞大學的心臟病學研究實驗室共同指導人工智能應用，我們在那裡研究如何使用人工智能技術更好地照顧心臟病病人。該項目的目標是決定誰更需要超聲心動圖。所以問題是超聲心動圖，這些心臟超聲波，可能很昂貴，這降低了它們的可用性。所以我們的問題是，我們能否使用其中一種成本較低的技術來預測超聲心動圖的結果？所以我們選擇專注於導聯心電圖，它非常便宜，在任何醫生辦公室、任何急診室進行每項測試的成本約為 15 美元——它隨處可用。所以我們的想法是，你可以擁有這項技術來分析這個非常便宜的測試，然後你可以快速知道誰是這個更昂貴、更準確的測試的最佳目標。所以我們在哥倫比亞大學收集了所有接受過心電圖和超聲心動圖這兩項測試的病人，然後我們根據心電圖訓練人工智能模型來診斷某人是否有心臟瓣膜問題。

作為一名心臟病專家，這不是我自己能做到的。我無法通過查看心電圖來判斷某人是否有心臟瓣膜問題。我需要更昂貴的測試。所以我們想看看這個人工智能模型能不能做到。它實際上可以做得很好。它可以挑選出最有可能患有三種心臟瓣膜疾病中的一種的病人，然後我們實際上會嘗試出去找到這些病人並讓他們接受這項測試。初步結果非常有希望——我們似乎確實找到了患有嚴重心臟病並且值得被識別的病人。所以它有效。這是一個機會，讓我們繼續與我們知道在醫學上普遍存在的差異作鬥爭，

人工智能作為助手，醫生成為知識分子、富有同情心的護理提供者

Maia Hightower：目前，人工智能主要用於兩大類醫學。首先是操作/管理，第二個是臨床使用。我會說在操作和管理任務中的採用率遠高於目前在臨床 AI 中的採用率。

Rachel Gotbaum：那麼你能給我們舉一些例子，說明人工智能是如何被用於醫學管理方面的嗎？

瑪雅·海托華：是的。因此，為了與保險公司進行溝通，我們通常會使用機器人或自動化程序將信息從醫療系統傳輸到保險公司，然後再返回。就保險公司而言，我們知道他們通常會使用人工智能計算進行程序的事先授權，無論是否涵蓋特定的藥物或測試。在這些情況下，我們作為提供者組織的透明度並不高。

Rachel Gotbaum：好的，這就是人工智能在管理方面的一些例子。Kohane 博士，請告訴我們有關臨床方面的 AI 的信息。

Isaac Kohane：在我看來，人工智能有兩種應用程序是一種特別令人興奮的方式來幫助我們的病人。首先是了解我們作為人類在某些事情上做得很好，但我們並不擅長全天候保持警惕，也不太擅長了解病人的一切，所有細節，所有不良事件，所有過敏，他們所有的歷史。這樣的細節太多了，如果我們可以讓人工智能成為決策循環的一部分，那麼我們忘記的事情實際上並沒有被遺忘，我認為對於病人的日常護理，讓人工智能作為助手來醫生將發揮醫生作為知識分子、富有同情心的護理提供者的優勢，這將顯著提高護理質量。

有如此多的公司在捕捉病人和醫生之間的互動、口頭互動並將其轉化為決策依據方面取得了進展。在另一個極端，有些醫學領域的人類還沒有做好獨立服務的準備。例如，我們已經看到，在未確診的病人中，人工智能計算對遺傳變異和臨床發現之間的大模式進行分類的能力與醫生為這些長期遭受痛苦的病人做出診斷的專業知識之間存在重要的相互作用以前我們無法提供診斷。因此，對於大多數醫生來說，基因組學是一個相對神秘的領域，而對於醫生所熟知的知識，正是這種超人能力的結合，即疾病的許多臨床表現，

AI 模型來實際梳理基因組中已發現的遺傳變異突變

Rachel Gotbaum：那看起來像什麼？

Isaac Kohane：所以在我參與的未確診疾病網絡中，我們實際上經常使用機器學習模型、AI 模型來實際梳理基因組中已發現的遺傳變異突變的所有關聯以及各種綜合症並嘗試將其與病人病史相匹配。我們與在特定醫學領域也是專家的醫生一起工作，我們發現這種結合使我們能夠診斷我們在美國 12 個學術健康中心轉診的大約 30% 的病人儘管看了很多醫生，但以前多年未確診的州。這就是它起作用的地方。

Rachel Gotbaum：Hightower 博士，我想回到你在討論 AI 的管理用途時提到的一個問題。你說保險公司使用人工智能來決定是否承保程序、測試或藥物的方式實際上沒有任何透明度。因此，請與我談談缺乏透明度的後果。

Maia Hightower：我們的支付合作夥伴，例如 Optum 和 Blue Cross Blue Shield，擁有大量專門用於 AI 和開發計算的資源，但我們無法了解他們如何使用這些資源。病人是未知計算的接受者，這些計算可能會影響他們支付醫療費用的能力。

Rachel Gotbaum：然而，在行政流程中使用 AI 確實有一些積極的方面，對吧？

瑪雅·海塔爾：如果您考慮一下我們已經部署的一些計算——例如，有一種計算可以預測未出現，例如病人不出現在他們的約會中的可能性有多大？這是一個非常中立的計算，因為衛生系統可以決定他們是否要獲取該信息並重複預訂一位病人——換句話說，在沒有出現的高風險時安排另一位病人？或者，衛生系統是否會將其視為一個機會，可以利用更多資源接觸到該病人，確定是什麼阻礙了他們赴約——是交通嗎？方便嗎？是營業時間嗎？並與他們聯繫並能夠提供額外的支持。我認為當衛生系統做後者並使用該信息更好地支持病人時，

允許醫生回歸醫學藝術並與病人聯繫

Rachel Gotbaum：Hightower 博士，您看到 AI 被使用的其他方式有哪些，或者您希望看到它的使用方式讓您感到興奮？

Maia Hightower：我喜歡糖尿病視網膜病變篩查的民主化。因此，您可以在初級保健辦公室部署一種人工智能工具，幫助篩查糖尿病病人的糖尿病視網膜病變。如果他們是陰性的，那麼他們就會得到明確的結果，如果他們是陽性的，他們就會被轉介給眼科醫生，這有助於將糖尿病視網膜病變篩查從高成本的眼科護理擴展到初級保健機構。通過語音識別，醫生能夠通過一種基本上將我們的文本轉錄成完整筆記的工具更快地完成他們的臨床文檔。以前它就像是筆記的轉錄，現在它就像是基於與病人隨意交談的美麗筆記。因此，允許醫生回歸醫學藝術並與病人聯繫，而不是在鍵盤上打字。

ChatGPT報告的一切未必都必然是事實

Isaac Kohane：我想補充一個今天已經發生的領域，我個人對人工智能在醫學上的應用感到非常興奮。我認為這是一個引起很多恐懼和擔憂的領域，在一些人中是適當的，但我認為這將是一個淨收益。這就是病人直接使用這些工具的情況。許多病人過去都使用過搜索，這已經不是什麼秘密了，以至於有些人稱搜索為谷歌博士，因為他們可以找到東西。但實際上很難找到關於一種疾病的足夠詳細信息。你必須閱讀論文，閱讀摘要才能真正理解正在發生的事情。但是現在有了像 ChatGPT 這樣的大型語言模型，你會看到病人去問他們想問醫生的問題——因為，通常情況下，你去看醫生的時候會忘記一些事情，

所有社會都有非常令人擔憂的趨勢，但在美國肯定是這樣，那就是初級保健的消失。在無法獲得初級保健的情況下，如果有能力詢問一些關於您的症狀的基本問題，看看是否是您應該擔心的事情，這會讓一些病人去看醫生。消極的一面是我們不知道他們一直得到的建議是來自 ChatGPT 的正確建議，我們不知道它報告的一切都必然是事實——它仍然傾向於做出編造事實，或者像一些計算機科學家所說的那樣，產生幻覺。然而，在沒有任何其他權威信息來源的情況下，病人將繼續尋找這些信息豐富的來源。

Covid 發生，才真正意識到醫療保健上社會不公正

Rachel Gotbaum：所以海托華博士，我想轉回給你。病人顯然在其他方面容易受到 AI 的影響——例如，偏見。你創立了一家名為 Equality AI 的公司。您是如何涉足這一工作領域的？

瑪雅·海塔爾：我非常喜歡，自從我進入醫學院的那一天起，你就得到了白大褂，舉行了白大褂儀式，你抬頭看到衛生系統的所有領導都向你歡迎這個美妙的職業，而且它沒有把火箭科學讓我反思並說，「嗯。那群人看起來不像我來自的社區。」 所以關於平等人工智能的問題，我是怎麼想到的，我是首席人口健康官，當時 Obermeyer 博士發表了他關於剖析用於管理人口健康的計算中的種族偏見的論文。當時，該研究表明，一種廣泛使用的計算存在一個缺陷，導致與同樣患病的白人病人相比，黑人病人轉診到病例管理的比率降低了一半。

我記得當時我是首席人口衛生官，我希望我能說我有這個頓悟時刻，我已經準備好與人工智能中的偏見作鬥爭。不，相反，那一刻我和許多人一樣，可能認為這是一次性的——計算是固定的，我們都可以繼續前進。幾年後，當然，Covid 發生了，人們真正意識到了社會不公正和醫療保健不平等的雙重流行病。它在數字上顯示出來——就像黑人病人、拉丁裔病人和南太平洋島民病人一樣，美洲原住民病人死於 Covid 的頻率更高。因此，我開發了所謂的醫療保健 IT 股權成熟度模型，尋找醫療保健 IT 系統中嵌入系統性偏見的所有不同領域。

失敗者、局外人、小樣本，會面臨人工智能偏見的風險

Obermeyer 真正強調的是，在他的論文中，缺乏多樣性。如果真的有一個更多元化的團隊來創建計算，那麼很可能會避免一些已經犯下的錯誤。新英格蘭醫學雜誌的文章「Hidden in Plain Sight」就是一個很好的例子。它概述了 13 種基於規則的歷史計算，這些計算使用種族並嵌入到我們的 IT 系統中。

Rachel Gotbaum：你能舉一些例子嗎？

瑪雅·海托華：是的。一個很好的例子是美國心臟協會，了解心臟指南，有一個計算器可以幫助您計算心力衰竭的風險以及是否應該將病人轉診給心臟病專家。在那個特定的計算中，如果你按下按鈕並添加黑人種族，那麼病人就不太可能被轉介給心臟病專家。比分發生變化。在這種情況下，分數下降並低於轉診心臟病專家的閾值。

Rachel Gotbaum：所以請告訴我們這些偏見是如何發生的。

瑪雅·海塔爾：縱觀歷史，我們開發了計算來幫助預測結果。我們一直使用數據來幫助告知這些計算。從歷史上看，這些數據並未反映我們服務的人口。因此，例如，放射科醫生使用一種叫做 KLG 評分的東西來診斷骨關節炎。KLG 分數是 1950 年代威爾士礦工開發的。所以我可以告訴你，我們今天的人口並不反映威爾士礦工的情況。不過，該分數繼續用作骨關節炎的主要診斷。並且已經發現，如果您今天使用反映當今病人人口統計數據的人口重新計算分數，您會得出一個非常不同的計算和一個更好的骨關節炎疼痛預測指標，以及膝關節置換或關節置換的潛在閾值。

我們不知道關節痛治療不公平的全部程度，但迄今為止的研究表明，至少對於黑人病人而言，疼痛沒有得到充分診斷和治療。對於任何人群，如果你曾經是失敗者，如果你曾經是局外人，如果你曾經是小樣本，那麼你就會面臨人工智能偏見的風險。膿毒症就是一個很好的例子——我們的許多計算膿毒症模型都是針對中老年人群開發的。如果你是一個 20 歲的男性，如果你只有 20 歲，並且你發現自己在一家成人醫院，那麼這些敗血症計算不太可能像 55 到 70 歲的人一樣對你有效.

有可能從 AI 計算中消除這種偏見嗎？

Rachel Gotbaum：海托華博士，這是怎麼回事？

Maia Hightower：我們還沒有承認我們缺乏包容性的歷史，無論是從我們的臨床試驗到我們實踐實證醫學的方式。醫學偏見同樣骯髒的小秘密正在被複製，並有可能在 AI 中得到擴展。

Rachel Gotbaum：但是真的有可能從 AI 計算中消除這種偏見嗎？

Maia Hightower：偏見有很多種，對於每種偏見，都有很多方法可以減輕這種偏見。因此，一些減少偏見的措施只是增加了我們團隊的多樣性，吸引了數據科學、一般醫療保健和技術領域的各種人才和觀點。但是，有些方法本質上是非常統計的，可以將計算應用於計算，可以通過合成數據擴充小樣本數據集。所以有一些非常酷的方法可以減輕偏見。

Rachel Gotbaum：所以讓我回到你身邊，Kohane 博士。在我們前進的過程中，您希望看到哪些保障措施到位，這樣就不會出現對這些新人工智能工具的錯誤安全感和依賴？

假設發生的一切都是好的，這是一種危險

Isaac Kohane：好吧，我當然同意讓一個人參與其中，讓醫生參與決策過程是確保做出的決定是適當的必要組成部分。我確實認為你提出的擔憂，即基本上我們會在方向盤上睡著，因為我們已經習慣了自動化，並且只是假設發生的一切都是好的，這是一種危險。因此，我認為，這是一個懸而未決的問題，即確保醫生最終對所有決定負責，並且他們不會假設某些自動化過程總是會做正確的事情。

但我認為，同樣重要的是，我們必須開始衡量系統。正如我們對藥物進行試驗以查看它們是否有效一樣，我們也需要對這些 AI 工件進行試驗以查看它們是否有效？我們實際上可以衡量他們是否有偏見，他們是否為不同的人群創造了不同的結果？如果我們不對其進行衡量，我們將無能為力。我們必須看到並理解，將人工智能應用於醫學的干預措施至少與藥物的使用一樣有效，並且必須以同樣的嚴格程度對其進行評估。

讓 AI 本質上相當於一個非常聰明的醫學抄寫員

Rachel Gotbaum：讓我們多談談我們看到的人工智能的其他好處。Kohane 博士，我知道你相信人工智能可以用來解決醫生的倦怠問題。

Isaac Kohane：提供足夠收入的壓力，這些壓力促使我們看很多病人，因此看病人的間隔越來越短。與此同時，我們迄今為止使用的技術，電子健康記錄系統，已經針對計費進行了優化，但並未針對臨床護理進行優化。這種結合確實吸走了許多臨床醫生的精髓、興奮和實踐的樂趣。如果在正確的治理下，例如，醫生和病人之間發生的對話會自動變成需要進入健康記錄、需要進行計費、需要發送的文件回到轉診醫生或病人——所有這些在技術上都是可行的——可能會減輕醫生的巨大行政負擔。同樣，如果轉診或事先授權的請求真的只是按下按鈕並說「使用病人的病史作為事先授權的論據」，那我們將消除另外 15 分鐘的苦差事。真正讓 AI 本質上相當於一個非常聰明的醫學抄寫員的自動化等價物，然後他會完成所有的管理任務——如果能做到這一點，那麼我們就可以讓醫生回到他們最初進入醫學領域的目的，這是與病人的接觸，希望在他們的情感生活中幫助他們，並​​談論他們在那裡最重要的事情，即他們的醫療保健。所以這是它可以幫助醫生的第一個最重要的方式。

第二種方式是，由於我們在初級保健醫生方面存在歷史性和持續性不足，我們都開始依賴醫師助理和執業護士。如果我們可以為這些執業護士和醫師助理提供 AI，使他們能夠完全熟悉基因組學和專家診斷，我認為我們可以彌補很多缺失的勞動力。

AI 是決策支持，而不是決策者

Rachel Gotbaum：所以聽起來它現在仍然有點利弊參半。

Isaac Kohane：好吧，缺點是 Hightower 博士已經提出的許多缺點，也就是說，如果我們不小心，它可能會掩蓋現有的偏見。但我想樂觀地說，例如，這些人工智能程序現在實際上可以閱讀病人的病歷並查看臨床試驗，然後說，「是否有該病人有資格參加的試驗？」 僅這一點，只要讓更多人參與臨床試驗，我認為最終將對公平競爭做出重要貢獻。此外，只是閱讀文獻——我不了解你，但我試圖跟上文學的步伐，但為此，我只是略讀標題，或者在天氣好的時候，瀏覽我想閱讀的論文摘要. 如果我可以，就像我最近所做的那樣，讓這些聊天機器人為我總結一篇論文，

Rachel Gotbaum：那麼在其發展的這個階段，您認為 AI 應該在哪些方面使用，哪些不應該在醫學中使用？

Isaac Kohane：我認為目前，AI 應該用於人類最薄弱的地方——即了解所有病人的一切，並在晚上 6:00 保持警惕，就像晚上 8:00 一樣。早晨。我認為目前不應該使用人工智能來代替人類的直覺、人類的接觸，以及醫生在與病人互動時所運用的人類常識。而且我認為通過使用 AI 小部件的優勢和我們作為醫生的人類優勢，我們可能會得到最好的結果。最糟糕的結果將是不使用人工智能的醫生和不使用醫生的人工智能。

Maia Hightower：所以 AI 是決策支持，而不是決策者。