Phoebe Newman Każdego dnia pacjenci wysyłają do lekarzy setki tysięcy wiadomości za pośrednictwem MyChart – platformy komunikacyjnej dostępnej w niemal każdym szpitalu w USA.
Opisują swój ból, ujawniają objawy – konsystencję wysypki, kolor stolca – i po drugiej stronie ufają lekarzowi. Aby im doradzić.
Jednak coraz częściej odpowiedzi na te listy nie pisze już lekarz – przynajmniej nie w całości. Około 15 000 lekarzy i asystentów w ponad 150 systemach opieki zdrowotnej korzysta z nowej funkcji sztucznej inteligencji w MyChart, aby formułować odpowiedzi na takie wiadomości.
Wielu pacjentów otrzymujących te odpowiedzi nie zdaje sobie sprawy, że zostały napisane przy pomocy sztucznej inteligencji. W wywiadach urzędnicy kilku systemów opieki zdrowotnej korzystających z MyChart przyznali, że nie ujawniają, że wiadomości zawierają treści generowane przez sztuczną inteligencję.
Tendencja ta niepokoi część ekspertów, którzy obawiają się, że lekarze mogą nie zachować wystarczającej czujności, aby wyłapać potencjalnie niebezpieczne błędy w medycznie ważnych komunikatach pisanych przez sztuczną inteligencję.
W branży, która szeroko wykorzystuje sztuczną inteligencję do wykonywania zadań administracyjnych, takich jak podsumowywanie wizyt czy odwoływanie się od odmów ubezpieczenia, krytycy obawiają się, że powszechne przyjęcie narzędzia MyChart umożliwiło sztucznej inteligencji zakłócanie procesu podejmowania decyzji klinicznych oraz relacji lekarz-pacjent.
Narzędzie może wprawdzie zostać poinstruowane, aby pisało głosem konkretnego lekarza, ale nie zawsze formułuje prawidłowe odpowiedzi.
„Celem było uwolnienie ich czasu, aby mogli spędzać więcej czasu na rozmowach z pacjentami” – powiedziała Athmiya Jayaram, badaczka w Hastings Center, instytucie badań bioetycznych w Garrison w stanie Nowy Jork.
„W tym przypadku starają się zaoszczędzić czas na rozmowach z pacjentami, korzystając z generatywnej sztucznej inteligencji”.
W szczytowym okresie pandemii, kiedy wizyty osobiste były często zarezerwowane dla najbardziej chorych pacjentów, wielu z nich korzystało z wiadomości MyChart jako rzadkiej bezpośredniej linii komunikacji z lekarzami.
Pracownicy służby zdrowia zdali sobie sprawę, że mają problem dopiero po latach: nawet gdy większość aspektów opieki zdrowotnej wróciła do normy, nadal byli zasypywani wiadomościami od pacjentów.
Już przeciążeni lekarze nagle spędzali przerwy na lunch i wieczory, odpowiadając na listy pacjentów. Dyrektorzy szpitali obawiali się, że jeśli nie znajdą sposobu na ograniczenie tej dodatkowej pracy – która często nie jest płatna – listy od pacjentów mogą stać się główną przyczyną wypalenia zawodowego lekarzy.
Dlatego też na początku 2023 r., gdy Epic, gigant oprogramowania, który opracował aplikację MyChart, zaczął oferować nowe narzędzie wykorzystujące sztuczną inteligencję do generowania odpowiedzi, niektóre z największych akademickich ośrodków medycznych w kraju chętnie je przyjęły.
Zamiast rozpoczynać każdą wiadomość od pustego ekranu, lekarz widzi odpowiedź generowaną automatycznie na pytanie pacjenta. Odpowiedź jest generowana przy użyciu wersji GPT-4 (podstawowej technologii ChatGPT), która jest zgodna z przepisami dotyczącymi prywatności medycznej.
Narzędzie MyChart, zwane In Basket Art, wykorzystuje kontekst poprzednich wiadomości pacjenta oraz informacje z jego elektronicznej dokumentacji medycznej, takie jak lista leków, aby utworzyć wersję roboczą, którą pracownicy służby zdrowia mogą zatwierdzić lub zmienić.
Pozwalając lekarzom zachowywać się jak redaktorzy, systemy opieki zdrowotnej mają nadzieję, że będą mogły szybciej przekazywać informacje pacjentom i zużywać przy tym mniej energii psychicznej.
Zostało to częściowo potwierdzone we wczesnych badaniach, które wykazały, że sztuka ulega zmniejszeniu Uczucie wyczerpania I Obciążenie poznawczeale niekoniecznie oznaczało to oszczędność czasu.
Setki lekarzy w UC San Diego Health, ponad stu lekarzy w UW Health w Wisconsin i każdy licencjonowany lekarz w przychodniach podstawowej opieki zdrowotnej Stanford Health Care – w tym lekarze, pielęgniarki i farmaceuci – mogą uzyskać dostęp do narzędzia AI.
Dziesiątki lekarzy z Northwestern Health, NYU Langone Health i UNC Health eksperymentują z tą sztuką, podczas gdy liderzy rozważają szerszą ekspansję.
W przypadku braku silnych przepisów federalnych lub powszechnie akceptowanych ram etycznych, każdy system opieki zdrowotnej decyduje, w jaki sposób testować bezpieczeństwo narzędzia i czy informować pacjentów o jego stosowaniu.
Niektóre systemy szpitalne, takie jak UC San Diego Health, umieszczają na dole każdej wiadomości informację wyjaśniającą, że została ona „wygenerowana automatycznie” oraz została sprawdzona i zredagowana przez lekarza.
„Osobiście nie widzę żadnych wad przejrzystości” – powiedział dr Christopher Longhurst, dyrektor ds. klinicznych i innowacji w systemie opieki zdrowotnej.
Dodał, że pacjenci na ogół są otwarci na nową technologię. (Jeden z lekarzy otrzymał e-mail o następującej treści: „Ja Chcę jako pierwszy pogratulować Ci asystenta kierowcy AI i jako pierwszy wysłać Ci wiadomość od pacjenta wygenerowaną przez sztuczną inteligencję.
Inne systemy – w tym Stanford Health System, University of Wisconsin Health System, University of North Carolina Health System i NYU Langone Health System – zdecydowały, że powiadamianie pacjentów przyniesie więcej szkody niż pożytku.
Niektórzy urzędnicy obawiają się, że lekarze mogą postrzegać zastrzeżenia jako pretekst do wysyłania wiadomości do pacjentów bez ich właściwej weryfikacji, powiedział dr Brian Patterson, dyrektor zarządzający lekarz ds. klinicznej sztucznej inteligencji w UW Health.
Mówienie pacjentom, że wiadomość zawiera treści sztucznej inteligencji, może zmniejszyć wartość porady lekarskiej, nawet jeśli jest ona popierana przez ich lekarzy, powiedział dr Paul Testa, dyrektor ds. informacji medycznej w NYU Langone Health.
Dla doktora Jayarama odkrycie zastosowania tego narzędzia sprowadza się do prostego pytania: Czego oczekują pacjenci?
Powiedział, że kiedy pacjenci wysyłają wiadomość na temat swojego zdrowia, zakładają, że lekarze wezmą pod uwagę ich historię, preferencje dotyczące leczenia i dynamikę rodziny – wartości niematerialne uzyskane z długotrwałych związków.
„Kiedy czytasz notatkę lekarza, czytasz ją głosem lekarza” – powiedział. „Gdyby pacjent wiedział, że wiadomość, którą wymienia z lekarzem, została wygenerowana przez sztuczną inteligencję, myślę, że poczułby się naprawdę zdradzony. „
W przypadku wielu systemów opieki zdrowotnej stworzenie algorytmu, który w przekonujący sposób naśladuje „głos” konkretnego lekarza, pomaga uczynić narzędzie użytecznym. Niedawno firma Epic zaczęła zapewniać swojemu narzędziu większy dostęp do wcześniejszych wiadomości, dzięki czemu wersje robocze mogą naśladować indywidualny styl pisania każdego lekarza.
Brent Lamm, dyrektor ds. informacji w UNC Health, powiedział, że jest to odpowiedź na typowe skargi, jakie słyszy od lekarzy: „Nie mogę wyrazić mojej osobistej opinii” lub „Znam tego pacjenta od siedmiu lat. Będą wiedzieć, że to nie ja. „
Administratorzy opieki zdrowotnej często określają tę dziedzinę jako wykorzystanie sztucznej inteligencji obarczone niskim ryzykiem, ponieważ w idealnym przypadku dostawca zawsze czyta wersje robocze i poprawia błędy.
Opis ten niepokoi badaczy badających, jak człowiek współpracuje ze sztuczną inteligencją. Opis ten „przeczy około 50-letnim badaniom” – mówi Ken Holstein, profesor w Instytucie Interakcji Człowiek-Komputer na Uniwersytecie Carnegie Mellon.
Ludzie mają dobrze udokumentowaną tendencję, zwaną błędem automatyzacji, do akceptowania zaleceń algorytmu, nawet jeśli są one sprzeczne z ich własnym doświadczeniem – powiedział. Ta stronniczość może sprawić, że lekarze będą mniej krytyczni podczas przeglądania wersji roboczych generowanych przez sztuczną inteligencję, co może pozwolić na dotarcie do pacjentów poważnymi błędami.
Sztuka nie jest odporna na błędy. Najnowsze badania Naukowcy odkryli, że siedem ze 116 wersji roboczych wygenerowanych przez sztuczną inteligencję zawierało tak zwane halucynacje – to bełkot, z którego tworzenia znana jest ta technologia.
Doktor Vinay Reddy, lekarz medycyny rodzinnej w UNC Health, wspomina przypadek, w którym pacjentka wysłała wiadomość do kolegi, aby sprawdził, czy potrzebuje szczepionki przeciwko wirusowemu zapaleniu wątroby typu B.
Wersja robocza wygenerowana przez sztuczną inteligencję z pewnością potwierdziła pacjentce, że otrzymała szczepienia i zaplanowała wizyty. Powiedział, że jest to całkowicie nieprawdziwe i miało miejsce, ponieważ modelka nie miała dostępu do swoich rejestrów szczepień.
mały Badanie opublikowane w The Lancet Digital Health Naukowcy odkryli, że GPT-4, ten sam model sztucznej inteligencji, na którym opiera się narzędzie Epic, popełniał poważniejsze błędy, odpowiadając na pytania hipotetycznych pacjentów.
Lekarze, którzy przejrzeli swoje odpowiedzi, odkryli, że wersje robocze, jeśli nie zostaną poddane edycji, mogą stanowić poważne ryzyko w 7% przypadków.
Jednak dr Erica Bohna, dyrektora ds. informacji zdrowotnych w Duke Health, pociesza fakt, że model generuje wersje robocze, które nadal mają „umiarkowaną jakość”, co jego zdaniem budzi sceptycyzm i czujność lekarzy w kwestii wykrywania błędów.
Według Epic, co stanowi dla administratorów szpitali sygnał, że lekarze nie stemplują wiadomości, średnio mniej niż jedna trzecia wersji roboczych generowanych przez sztuczną inteligencję jest wysyłana do pacjentów w stanie niezredagowanym.
„Moje pytanie brzmi: co się stanie, jeśli technologia się poprawi? Co się stanie, jeśli lekarze zaczną rozluźniać czujność? Czy błędy znikną?”
Firma Epic dodała do oprogramowania bariery zabezpieczające, aby Art nie udzielał porad klinicznych, powiedział Garrett Adams, wiceprezes firmy ds. badań i rozwoju.
Adams stwierdził, że narzędzie to najlepiej nadaje się do udzielania odpowiedzi na typowe pytania administracyjne, takie jak „Kiedy mam wizytę?” lub „Czy mogę przełożyć wizytę przesiewową?”
Naukowcom nie udało się jednak opracować niezawodnych sposobów zmuszania modeli do przestrzegania instrukcji, stwierdziła dr Holstein.
Doktor Anand Chaudhary, który pomagał nadzorować wdrażanie ART w Duke Health, powiedział, że on i jego współpracownicy wielokrotnie modyfikowali instrukcje, aby zapobiec dostarczaniu przez narzędzie porad klinicznych, ale z niewielkim sukcesem.
„Bez względu na to, jak bardzo się staraliśmy, nie mogliśmy wyeliminować jego instynktu pomocy” – powiedział.
Trzy systemy opieki zdrowotnej poinformowały „New York Times”, że usunęły z wytycznych niektóre bariery ochronne.
Doktor Longhurst z Centrum Zdrowia Uniwersytetu Kalifornijskiego w San Diego stwierdziła, że model „spisał się lepiej”, gdy usunięto sformułowania instruujące Arta, aby „nie udzielał informacji klinicznych”. Urzędnicy czuli się komfortowo, dając AI większą swobodę, ponieważ jej komunikaty były sprawdzane przez lekarzy.
Doktor Christopher Sharp, dyrektor ds. informacji medycznej w systemie opieki zdrowotnej, powiedział, że Stanford Health Care podjęło „świadome ryzyko”, aby pozwolić ART „myśleć bardziej jak lekarz”, po tym jak pewne rygorystyczne ograniczenia sprawiły, że jej wersje robocze stały się ogólne i nieprzydatne.
Oprócz kwestii bezpieczeństwa i przejrzystości niektórzy bioetycy mają bardziej fundamentalne obawy: czy w ten sposób chcemy wykorzystywać sztuczną inteligencję w medycynie?
W przeciwieństwie do wielu innych narzędzi opieki zdrowotnej opierających się na sztucznej inteligencji, sztuka nie ma na celu poprawy wyników klinicznych (chociaż jedno badanie sugerowało, że reakcje mogą być bardziej skuteczne). Empatyczny i pozytywny) i nie jest ukierunkowany wyłącznie na zadania administracyjne.
Zamiast tego wydaje się, że sztuczna inteligencja ingeruje w rzadkie momenty, kiedy pacjenci i lekarze mogą komunikować się ze sobą bezpośrednio – a jest to moment, w którym technologia powinna umożliwiać, powiedział Daniel Schiff, współdyrektor laboratorium zarządzania i odpowiedzialnej sztucznej inteligencji na Uniwersytecie Purdue.
„Nawet gdyby wszystko było bezbłędne, czy chciałbyś zautomatyzować jeden z niewielu sposobów, w jakie nadal ze sobą współdziałamy?„
