Lidia Raś: Jakie jest pana – jako prawnika - pierwsze skojarzenie z frazą: sztuczna inteligencja w medycynie?

Mec. Sebastian Sikorski: Duża szansa i duże możliwości zastosowania rozwiązań z AI, ale ze świadomością zagrożeń. W przypadku ochrony zdrowia i życia ludzi termin sztuczna inteligencja nabiera zupełnie innej wagi. Szansa – wyzwanie – zagrożenie. Tak w skrócie bym to ujął, podkreślając, że trzeba dostrzegać i plusy, i minusy tych rozwiązań.

Kiedy mowa o zagrożeniach, to o czym konkretnie?

AI nie możemy analizować w oderwaniu od różnych kontekstów, więc to mogą być zagrożenia dotyczące aspektu medycznego (sposób wykorzystywania narzędzia w diagnostyce lub leczeniu pacjentów), przez aspekt techniczny, na prawnym skończywszy. Zwykle jest tak, że prawo nadąża za rzeczywistością i ma regulować w odpowiednim momencie obszary, które już funkcjonują. Jednak w przypadku sztucznej inteligencji, musimy być gotowi z regulacjami zdecydowanie szybciej. One muszą wchodzić równolegle z wdrożeniami rozwiązań opartych na AI, a w przypadku narzędzi należących do obszaru wysokiej sztucznej inteligencji, powinny je wyprzedzać. Na tym polega nietypowość sytuacji, z którą mamy do czynienia.

Czy takie wyprzedzenie jest w ogóle możliwe? RODO, Biała Księga, AI ACT dają taką szansę?

W pewnym ujęciu tak, choćby wtedy, gdy mówimy o sztucznej inteligencji w podstawowym rozumieniu, czyli nie jako rozwiązania autonomiczne, a narzędzia wspierające lekarza. Są one już stosowane, a poza oprogramowaniem innego elementu nowości w nich nie ma.  Jednak gdy myślimy o rozwiązaniach technologicznych, określanych mianem wysokiej sztucznej inteligencji, posiadających samoświadomość i możliwość modyfikacji, które pojawią się na pewno, to wg mnie regulacje muszą być przyjmowane już, o ile chcemy zachować kontrolę nad nimi. Tu nie ma alternatywy. I jeszcze jedno zastrzeżenie: mam świadomość, że te regulacje częściej niż inne będą ulegać modyfikacji, ale podstawowe konstrukcje określające zakres odpowiedzialności czy możliwość zachowania nadzoru są niezbędne. Projektowane rozporządzenie AI ACT spełnia sporo z tych wymogów, mimo że sztuczną inteligencję definiuje bardzo szeroko.

To źle?

Bardzo pojemna definicja może rodzić pewne trudności interpretacyjne, w konsekwencji których regulacją będzie się obejmować znacznie większą liczbę rozwiązań niż byśmy chcieli. Rozumiem jednak projektodawców, bo naprawdę trudno jest w tym momencie ująć wszystko. Przykładem może być definicja utworu intelektualnego, która teraz obowiązuje, a która powoduje, że wiele narzędzi możemy zgodnie z nią zaklasyfikować do AI, mimo że chodzi bardziej o software.  Dotyczy to np. rozwiązań, które podpowiadają lekarzom radiologom diagnozę w oparciu o analizę tysięcy zdjęć RTG.

Przemysław Czuma: To znak czasów. Do duetu pacjent - lekarz dołącza AI

Sztuczna inteligencja jest uczona i uczy się. Nie zrobi tego bez odpowiedniej ilości danych, które trzeba jej sukcesywnie dostarczać. Czy ten wyścig, zwłaszcza w kontekście danych wrażliwych, jest pod kontrolą? 

To prawda, wyścig trwa, a przegonienie Europy przez USA i Chiny jest wg mnie nieuniknione i już ma miejsce. Generalnie jest to uwarunkowane standardami państw. Standardy dotyczące praw człowieka w Chinach są nieporównywalne ani z obowiązującymi w UE, ani w USA. Unia Europejska stara się balansować pomiędzy regulacjami a ochroną przed wyhamowaniem rozwoju technologii, ale balans pomiędzy tym co trzeba kontrolować i ewentualnie ograniczać, a tym co możliwe technicznie, nie jest łatwy. Chiny mają tych dylematów zdecydowanie mniej. Wystarczy spojrzeć na narzędzia AI używane tam do inwigilacji. W państwach demokratycznych poprzeczka jest jednak zawieszona wyżej. Stany Zjednoczone z jednej strony kierują się określonymi standardami demokratycznego państwa prawnego ze wszystkimi tego konsekwencjami, ale z drugiej nie narzucają dokładnej regulacji, tak jak proponuje to zrobić UE.

Czyli mamy szczęście, że jesteśmy w UE i nasze dane nie tylko będą chronione na jej obszarze, ale nie wyciekną też poza Europę?

Obrót danymi wrażliwymi nie jest niczym nowym i jest uregulowany m.in. dzięki RODO. Rozwiązania ze sztuczną inteligencją niewiele zmienią. Pod jednym wszakże warunkiem. Sztuczna inteligencja działa tak dobrze, jak rozsądnie jest zasilana danymi. To jakość i ilość danych powodują odpowiednie możliwości dla narzędzia, które kwalifikujemy jako AI. Na tym etapie jest to więc „tylko” kwestia odpowiedniego zabezpieczenia danych wrażliwych. Natomiast niebezpieczeństwo widzę w przyszłości w rozwiązaniach, które w sposób autonomiczny wymieniałyby między sobą te dane, gdyby rozwiązania z AI zaczęły się komunikować między sobą bez nadzoru ze strony człowieka. Kontrola jest absolutnie niezbędna i trzeba dookreślić, kto będzie ostatecznie decydować o zasileniu jakimi danymi.

A kto o tym decyduje teraz?

Teraz mamy regulację RODO, która wskazuje administratora danych, zakres udostępniania zbiorów, zakres przetwarzania. Tam gdzie pojawią się dane zasilające AI, tam kontrola ich wymiany będzie kluczowa.

Czy AI ACT wprowadza jakieś zabezpieczenia w tym obszarze?

Projekt rozporządzenia zakłada ciekawe rozwiązania jeśli chodzi o testowanie nowych narzędzi. Przede wszystkim klasyfikuje dane wysokiego ryzyka i proponuje ważne, także z punktu widzenia prawnego, środowiska testowe, tzw. piaskownice regulacyjne, które pozwolą na testy pod kontrolą.  Dzięki temu narzędzia z AI będą wspierały personel medyczny, ale go nie zastąpią. Drugi aspekt dotyczy efektywnego nadzoru, czyli świadomego stosowania różnych rozwiązań, nad którymi mamy kontrolę, wiemy jakimi danymi są zasilane i w jakiej ilości.

Prof. Marek Krzystanek: AI powinna wspomagać, ale człowiek leczyć

Śledzenie ścieżki decyzyjnej będzie możliwe?

Nie jestem ekspertem od technologii, ale z punktu widzenia prawnego, efektywny nadzór i podjęcie ostatecznej decyzji przez człowieka jest kluczowe i do tego powinno się dążyć. Wyobraźmy sobie rozwiązanie dotyczące np. diagnozowania pacjenta, które dawałoby błędne wskazówki, ponieważ byłoby zasilane nieprawidłowymi danymi albo wręcz samo podejmowało złe decyzje, dotyczące sposobu leczenia. Możliwość zachowania przez lekarza kontroli i świadome posługiwanie się narzędziem, pozwala w razie potrzeby „wyjąć wtyczkę z gniazdka” – mówiąc obrazowo. Trzeba też pamiętać, że zmienią się kwestie związane z certyfikacją i dopuszczeniem produktu do wykorzystania. Teraz mamy tzw. wyrób medyczny, który może być np. oprogramowaniem komputerowym. Ma on producenta, jest dostawca, jest określona odpowiedzialność za narzędzie. Co jednak zrobić w sytuacji, gdy producent oprogramowania wskaże, że pod wpływem zasilania danymi, jego produkt tak się zmodyfikował, że nie jest on już w stanie wziąć za niego odpowiedzialności? Dlatego konieczne jest monitorowanie tych rozwiązań, czasowa certyfikacja, oznaczenia, że mamy do czynienia z rozwiązaniem sklasyfikowanym jako AI, rejestracja miejsc, gdzie jest stosowane. To będzie wyzwanie.

A propos rejestracji… Czy lekarz ma obowiązek powiadomić przełożonych i/lub pacjentów, że korzysta z jakiegoś narzędzia AI?

A to ciekawe ujęcie. Obecnie menedżerowie, wdrażający pewne rozwiązania  w podmiotach leczniczych, nie do końca mają świadomość, jak powinni postępować. W przypadku wyrobu medycznego, np. sześciokanałowego rejestratora EKG (nie jest to narzędzie z grupy AI, raczej telemedycyna czy e-medycyna), sprawa jest prosta. Lekarz, biorąc pod uwagę obowiązujące regulacje prawne i aktualną wiedzę medyczną, jest zobowiązany w ramach prawidłowego wykonywania zawodu, posługiwać się wyrobami medycznymi. Może więc wykonać diagnostykę i zamieścić dodatkowo adnotację w dokumentacji medycznej z czego skorzystał. Ale co zrobić jeśli coś wyrobem medycznym nie jest, a lekarz zachowałby się w sposób opisany wyżej? Niestety ponosi konsekwencje. Może ewentualnie w dokumentacji napisać, że wykonał pomiar określonym narzędziem, ale np. sugeruje go powtórzyć na profesjonalnym aparacie stacjonarnym i pogłębić diagnostykę, bo pozyskał pewne informacje, dały one jakieś wyobrażenie, ale zastrzega, że ponieważ nie jest korzystał z wyrobu medycznego, to ponowna diagnostyka jest niezbędna. Natomiast moja rekomendacja jest taka, że co do zasady należy korzystać tylko z wyrobów medycznych, bo wtedy lekarz ma pewność, że prawidłowo wykonuje zawód. W innym wypadku można mu nawet postawić zarzut posłużenia się metodą, która nie jest uznana, ze wszystkimi tego konsekwencjami. W obecnym stanie prawnym (abstrahując od regulacji dotyczącej AI) oprogramowanie jest objęte definicją wyrobu medycznego, więc podlega certyfikacji jak każdy innych tego typu wyrób dopuszczony do użytku.

Dariusz Tarabasz: Medycy muszą uważać, by nie uzależnić się od AI

Czyli nie trzeba wprost zakazywać lekarzom używania "nowinek"? Stawiamy na odpowiedzialność i korzystanie wyłącznie z tego, co jest wyrobem medycznym?

Rozumiem intencję, bo chodzi o perspektywę potencjalnej odpowiedzialności podmiotu leczniczego. Ale z drugiej strony to przecież też kwestia odpowiedzialności osób wykonujących dany zawód medyczny. Lekarz musi mieć świadomość, czym się posługuje i jakie są tego konsekwencje. Ponadto widzę tu jeszcze inny problem. Z perspektywy zarządzającego szpitalem, niezwykle ważne może być wdrożenie narzędzia, dzięki któremu będzie można np. przyjąć więcej pacjentów. Wraz z dr. n. med. Michałem Florczakiem z Warszawskiego Uniwersytetu Medycznego  testowaliśmy bota, dla którego przygotowano zestaw cech kluczowych w przypadku zawału serca. Co zrobił bot? Pokierował pacjenta na wizytę internistyczną za tydzień. Skuteczność bota była wysoka - 96 proc, ale okazało się, że brakujące 4 miały znaczenie. Na żadnym etapie nie można zapomnieć o aspekcie medycznym, nie dać się zdominować kwestiom finansowym. To jest widoczne i teraz w telemedycynie, gdy chodzi np. o przekierowanie pacjenta na wizytę stacjonarną, która jest droższa. Przypominam jednak: priorytetem jest zawsze życie i zdrowie pacjenta, prawidłowe zasady wykonywania zawodu, a prozaicznie ujmując: priorytetem jest prawo wykonywania zawodu. I jeszcze jedna rzecz mało podnoszona, nie tylko z AI związana, ale po prostu ze stosowaniem technologii w ochronie zdrowia. Czy w tej chwili w dużych podmiotach leczniczych, typu szpitale, mamy odpowiednie zabezpieczenie techniczne? Posługujemy się coraz bardziej złożoną aparaturą medyczną, a czy w szpitalu jest np. inżynier medyczny, który ma świadomość jak dane urządzenie funkcjonuje i wie jak reagować, gdy dochodzi do awarii? Od tej strony też czekają nas spore wyzwania.

Jak ma się kwestia przestrzegania praw pacjenta w przypadku wdrożenia AI w medycynie?

Prawa pacjenta mają charakter uniwersalny, niezależnie z jakich narzędzi lekarz korzysta. Poruszamy się w obrębie regulacji ogólnych, które mamy, czyli kodeks cywilny, odpowiedzialność za produkt niebezpieczny (też KC), ochrona praw pacjenta, dostęp do informacji, do dokumentacji medycznej itd. Mamy całe spektrum regulacji. Rozwiązania, które będą kierowane z poziomu UE, będą przepisem szczególnym do obecnie obowiązujących, zdefiniowane już pod kątem AI. Na szczęście będzie to regulacja na poziomie europejskim. Biorąc pod uwagę realia techniczne, ekonomiczne, prawne regulacji na poziomie krajowym, to by nie zdało egzaminu.

Dlaczego?

Pamiętając, jak są wytwarzane te rozwiązania, w jakiej skali są dopuszczane na rynek, perspektywa rynku europejskiego daje możliwość, by faktycznie wchodziły one do obiegu, a jednocześnie nie  zamykały poszczególnych rynków. Ważne też żeby stan ochrony wprowadzonych rozwiązań był jednakowy na terenie całej UE. Wyobraźmy sobie, że poszczególne kraje członkowskie miałyby te regulacje przyjmować odrębnie. Pomijam już aspekt jakości legislacji, mogłoby to de facto doprowadzić nie tylko do nieefektywności rozwiązań, ale wręcz do ich blokowania. W dodatku konieczne będą jeszcze przyjęcia na gruncie prawa międzynarodowego w tym obszarze. Mamy je już w ramach UE, ale poza nią nie, a trendy technologiczne płyną raczej z USA a nie odwrotnie.

Odwrotny kierunek to też wymiana danych.

Tak, oczywiście. Choć z tymi problemami już się mierzymy, nawet w sprawach niezwiązanych z ochroną zdrowia, a np. w kwestii identyfikacji źródła ID użytkownika. Prowadziłem sprawę dotyczącą znieważenia za pomocą środków masowego przekazu. Pełną ścieżkę danych mogliśmy przeanalizować w ramach UE, bo są na to odpowiednie regulacje w obrębie jednego obszaru prawnego. Ale gdy wystąpiliśmy o informacje od USA, okazało się, że w imię ochrony danych nastąpiła odmowa. Obawiam się, że na takie trudności napotkamy też w przypadku rozwiązań z AI i wymiany danych. Regulacja na poziomie międzynarodowym, którą będą objęte kraje spoza UE, zwłaszcza USA, to jest kwestia bezdyskusyjna. Warto o tym pamiętać.

Mec. Michał Kibil: Narzędzia z AI trzeba wdrażać do szpitali rozsądnie

Anonimizacja i pseudonimizacja powinny pomóc, ale słyszę też opinie, że w przypadku danych medycznych, nie zawsze zadziałają.

Pytanie, czy mówimy o regulacji prawnej czy o prawidłowości zastosowania regulacji. Dochodzimy tu do kwestii, która wystąpi w wielu obszarach. Możemy mieć prawidłowa regulację, ale zasadne będzie pytanie, jak ona jest stosowana, jak jest egzekwowana, kontrolowana, jakie są wyciągane konsekwencje w przypadku naruszeń, itd. To już kwestia odwiecznej rozbieżności między prawem stanowionym i jego poprawnością, a jego stosowaniem w praktyce. Mamy RODO, mamy zgody na przetwarzanie danych, a przecież często nie mamy świadomości, gdzie się one pojawiają, mimo że nie wyrażaliśmy zgody. Jest to też kwestia staranności poszczególnych osób. W przypadku narzędzi z AI nie będzie to większy problem niż obecnie. Chyba że mówimy o rozwiązaniach, które mogłyby się danymi wymieniać. Wtedy byłoby to groźne, bo dotknęłoby obrotu danych. Rozwiązania typu AI w ochronie zdrowia są wielka szansą, ale i równie dużym zagrożeniem. Kluczowe jest więc zapewnienie pełnej kontroli przez osoby wykonujące dany zawód medyczny, posługujące się tego typu rozwiązaniami oraz przyjęcie, że AI ma osoby te wspierać a nie zastępować. 

Sebastian Sikorski, adwokat, prof. ucz. doktor habilitowany nauk prawnych w Katedrze Prawa Administracyjnego i Samorządu Terytorialnego, Wydziału Prawa i Administracji, Uniwersytetu Kardynała Stefana Wyszyńskiego w Warszawie, ekspert ds. prawa medycznego