Lidia Raś, CowZdrowiu.pl: W jaki sposób AI Act ma uporządkować w UE obszar wykorzystywania sztucznej inteligencji?

Mec. Dariusz Tarabasz: Przede wszystkim AI Act będzie miał formę rozporządzenia UE, które stosujemy wprost i bezpośrednio w całej UE. Ma to tę zaletę, że daje identyczne rozwiązania w całej Unii Europejskiej. Będzie więc jeden standard ochrony, co jest bardzo ważne. Zostaną wprowadzone klasy ryzyka. Inaczej będziemy traktować AI stworzone dla zabawy i rozrywki, a inaczej te algorytmy, które mają pomagać, stawiać diagnozy i dobierać leczenie. Każda grupa będzie inaczej regulowana. W pewnych obszarach największego ryzyka wykorzystanie AI będzie zabronione. W innych uzależnione od pewnych warunków. Zostanie wprowadzony obowiązek wykonania oceny zgodności. Powstanie system jednostek notyfikowanych, czyli niezależnych zaufanych podmiotów (stron trzecich), które będą czuwać nad poprawnością procesu oceny zgodności w najbardziej wrażliwych obszarach. Systemy AI wysokiego ryzyka będą obowiązkowo wyposażone w funkcje rejestrowania zdarzeń tak, aby możliwe było odtworzenie całego procesu. Generalnie nie są to rozwiązania nowe. Podobne regulacje funkcjonują chociażby na rynku wyrobów medycznych i z tych doświadczeń możemy czerpać.

Czy AI Act odpowiada na problemy wykorzystania sztucznej inteligencji w medycynie? Jakie największe zagrożenia w tym obszarze dostrzega Pan na obecnym etapie?

Zagrożeń (ale też szans) związanych z wykorzystaniem AI w medycynie jest dużo. Po pierwsze zagrożeniem jest bezkrytyczna wiara w jej możliwości. W dłuższej perspektywie, jeżeli będziemy traktować AI jako podwykonawcę od myślenia, to staniemy się od niej zależni. Tymczasem, AI jak każde narzędzie nie jest idealna. Po drugie, problemem jest jakość danych i sposób „trenowania” algorytmów. Musimy pamiętać, że AI „uczy się” na podstawie danych, które jej dostarczamy. Na przykład trenuje i wyciąga wnioski na podstawie dostarczonych jej i już opisanych wyników różnego rodzaju badań. Jest jednak pewna liczba wyników opracowanych nieprawidłowo (tzw. „ciemna liczba”), o których nie wiemy. AI będzie więc powielała błędy, jakie popełnił wcześniej człowiek. Co więcej, chęć szybkiej komercjalizacji może powodować, że jakość danych nie będzie dostateczna. Dobór danych wbrew pozorom nie jest rzeczą prostą. Jeśli AI otrzyma podczas trenowania jedynie dane przypadków nietypowych (skrajnych), to wyciągnie na ich podstawie niewłaściwe wnioski. To tak, jakbyśmy wyciągali wnioski o średnim wzroście w danej populacji na postawie reprezentacji siatkarskich. Etap gromadzenia i wykorzystania danych jest więc kluczowy żeby mieć zaufanie do wyników. I tutaj dochodzimy do kolejnego zagrożenia. Bo - po trzecie - nie jesteśmy w stanie zweryfikować efektów pracy AI. Sztuczna inteligencja to w zasadzie czysta matematyka. Wynik jest z góry ustalony, ale dla człowieka niemożliwy do przewidzenia. AI podaje nam pomocną dłoń tam, gdzie nie jesteśmy w stanie zapanować nad ilością i poziomem skomplikowania danych. W takiej sytuacji AI „wymaga” od nas jedynie podania założeń startowych, które uważamy za istotne i... nieingerowania w jej „wewnętrzne sprawy”. Jest to efekt tzw. black box. W związku z tym, przy masowym wykorzystaniu nie będziemy w stanie zweryfikować tego, co AI nam podpowiada. Mimo że teoretycznie AI Act ma na celu regulację sztucznej inteligencji, to jednak efekt, jaki otrzymamy w konkretnym przypadku, jest często nie do przewidzenia.

W końcu możemy dojść do punktu w którym AI zacznie wykorzystywać do treningu dane wytworzone przez inne AI. To jeszcze bardziej skomplikuje sytuację. Część lekarzy jest zdania, że przecież mechanizmy działania niektórych leków też nie są do końca poznane. Mimo wszystko są one jednak stosowane. W przypadku AI problem jednak w tym, że algorytm może zmieniać wyniki w miarę dostępu do nowych danych i nowych przypadków.

To znaczy?

W praktyce oznacza to, że możemy stracić kontrolę nad sposobem, w jaki AI się uczy i jakie rezultaty otrzymujemy. Już nie tylko sam wynik będzie tajemnicą. Nie będziemy też wiedzieć, jakie dane są wykorzystywane do treningu. Jeżeli nie będziemy w stanie nad tym zapanować, trudno będzie nam ustalić, czy AI spełnia określony prawem standard, czy też nie. Wyobraźmy sobie sytuację, że AI przechodzi pozytywnie ocenę zgodności i zostaje to potwierdzone odpowiednim certyfikatem. W miarę jednak dostępu do nowych danych i kolejnego treningu, jej sposób działania i efekty mogą się zmieniać. Nie do końca będziemy wtedy w stanie określić, czy certyfikat jest w ogóle coś wart, bo AI będzie już w innym miejscu. Dobrą lekcją są różnego algorytmy do obsługi klientów. Zdarzało się, że takie maszyny szybko zaczynały być wulgarne. Dostosowały się do zachowania ludzi, z którymi rozmawiały. Co, jeśli AI przeznaczona do kontaktu z pacjentem nagle zamiast podtrzymywać go na duchu, zacznie nakłaniać do samobójstwa? Pewnym wyjściem z sytuacji będzie stosowanie w medycynie jedynie takich AI, które zostały „wytrenowane” do odpowiedniego poziomu i już nie rozwijają się dalej. Nie wykorzystujemy jednak wtedy całego potencjału tej technologii.

Co prawda hipotetycznym, ale jednak zagrożeniem, może być traktowanie AI przez lekarzy jako zabezpieczenia przed odpowiedzialnością. Lekarz może mieć pokusę, aby postąpić zgodnie z rekomendacją AI, nawet jeśli będzie miał inne zdanie. Może liczyć, że w przypadku AI i tak nikt nie będzie w stanie zweryfikować jakości jej rekomendacji. Jest też druga strona medalu. Jeżeli przyjmiemy, że aktualna wiedza medyczna to również wykorzystanie AI, to lekarz może obawiać się zignorować jej podpowiedź.

Trzeba też pamiętać, że pojęcie sztucznej inteligencji będzie ulegać swoistej „inflacji”. Na rynku dostępnych będzie coraz więcej algorytmów do wykorzystania w medycynie. Każdy dostawca będzie chciał reklamować się jako dostawca usług opartych o sztuczną inteligencję. Wśród nich będą te o wyższej jakości, ale też pewnie będzie więcej jakości kiepskiej. Najprostszy sposób na ograniczenie kosztów to oszczędzanie na doborze danych i treningu AI. Można więc powiedzieć, że będą dostępne AI „mądrzejsze” i te nieco „głupsze”. Bez pewnego prawnego standardu trudno będzie je odróżnić. Akurat w medycynie może mieć to skutki tragiczne.

I wracając do wyliczanki - po czwarte - dla algorytmu celem jest wybór najlepszego dla nas rezultatu, a więc dopasowanie do naszych oczekiwań. Algorytm uczy się na podstawie informacji zwrotnej. Możemy więc dojść do momentu, kiedy AI będzie nam podsuwać rozwiązania nie takie, które faktycznie działają, ale takie, które będziemy chcieli usłyszeć. Nie będziemy jednak w stanie tego zweryfikować.

AI Act jest pierwszą tego rodzaju regulacją w Europie. Znaczenie tego aktu jest bardzo duże, bo w końcu prawo przestanie być „ślepe” na problemy związane z AI. Jak zawsze diabeł tkwi w szczegółach. Nie ma ustaw idealnych. Najistotniejsze są te słabe punkty, których teraz nie widzimy. Następny akt wykorzysta już te doświadczenia i będzie bardziej szczelny. Żeby tak jednak było, trzeba bacznie przyglądać się temu, jak działa rynek.

Czy Pana zdaniem będzie się dążyć do nietraktowania danych jako osobowych? W przypadku zdrowia to dość kluczowa sprawa.

Jeżeli dane osobowe zostają zanonimizowane, to znaczy, że nie spełniają już definicji danych osobowych. Proces anonimizacji polega na tym, że dane zostają pozbawione cech pozwalających na identyfikację konkretnej osoby. W przypadku AI sprawa nie jest jednak taka prosta. AI potrafi przetwarzać dane w sposób nie do końca dla nas jasny, a co istotne, bardzo szybko się uczy. AI może wnioskować i identyfikować konkretne osoby na podstawie cech, o których byśmy nawet nie pomyśleli. Tytułem przykładu, AI jest zdolna do tego, aby określić pochodzenie danej osoby po charakterystycznych dla danego regionu błędach w języku. Często aby zapobiec dyskryminacji, wprowadza się rozwiązania, które mają uniemożliwić identyfikację płci. Ma to na celu zwalczanie dyskryminacji kobiet w pracy. Algorytmy uczą się jednak wnioskować o płci z innych podanych danych, np. zainteresowań, form gramatycznych w tekście itd. Innymi słowy, anonimizacja w przypadku AI może nie być taka prosta, jak nam się wydaje.

W jakim stopniu personalnie będziemy świadomi, czy nasz przypadek zdrowotny został  wykorzystany do uczenia AI?

Jeżeli będziemy uczestniczyć w badaniach klinicznych, to wcześniej będziemy musieli wyrazić świadomą zgodę. Żeby zgoda mogła być uznana za świadomą, powinniśmy uzyskać informację o wszystkich aspektach badania, które mają znaczenie dla uczestnika. Warto zaznaczyć, że od niedawna, bo od marca tego roku, obowiązuje nowa ustawa o badaniach klinicznych. Będziemy świadomi, że nasz przypadek będzie analizowany. Nie będziemy jednak wiedzieć, w jaki sposób i czy w ogóle wykorzystano AI do analizy wyników badania klinicznego. Prawdę mówiąc, nie będziemy nawet wiedzieć, czy znaleźliśmy się w grupie kontrolnej (czyli tej, która otrzymała placebo), czy też w grupie otrzymującej faktycznie nowe leczenie. Wynika to z istoty badania klinicznego. 

Dane zbierane w trakcie badania będą musiały być szczególnie dobrze zabezpieczone. Dane na temat zdrowia są danymi wrażliwymi. Jeżeli wpadną w niepowołane ręce, mogą spowodować dla nas wiele szkód. Dotyczy to pracy, ale też innych sfer życia. Co istotne, dane mogą być bardzo cenne dla ubezpieczycieli czy banków. Na ich podstawie algorytm może łatwo określić, kogo warto, a kogo nie warto ubezpieczać, a jeśli już, to na wypadek jakiego zdarzenia albo na jak długo można mu bezpiecznie udzielić kredytu. Może to skutecznie pozbawić nas dostępu do pewnych usług albo dostępu do kapitału. W przypadku ubezpieczeń może mieć to też ten efekt, że ubezpieczenia będą sprzedawane tylko tym osobom, które ich najmniej potrzebują (bo akurat algorytm wyliczy, że na dane schorzenie z pewnością nie zachorują). Dane te mogą też posłużyć do manipulacji i podsyłania reklam na temat „cudownych leków” leczących choroby, na które cierpimy. Pole do nadużyć jest więc ogromne.

Gdy myślimy o AI, to przede wszystkim o zakresie danych, które człowiek udostępni sztucznej inteligencji i sposobie ich wykorzystania. Na kogo spadnie odpowiedzialność za to? Na twórcę algorytmu, właściciela, lekarza, korzystającego z AI? 

Odpowiedzialność za szkody spowodowane przez AI to temat bardzo szeroki. Jak do tej pory nie ma dobrych rozwiązań tego problemu. Na każdą podaną wyżej kwestię trzeba patrzeć odrębnie. Odpowiedzialność za wykorzystanie danych osobowych, w tym w szczególności dotyczących zdrowia, będzie spoczywać co do zasady na administratorze danych. Jeżeli chodzi o lekarza korzystającego z AI, to nie będzie mógł zasłonić się wskazaniami AI, jeżeli ta podpowie błędne rozwiązanie. Otwarte pozostaje pytanie, czy wskazania AI mogą być traktowane w kategoriach dostępnej wiedzy medycznej. Tutaj trzeba do każdego przypadku podejść indywidualnie. Różne są algorytmy AI (bardziej lub mniej wiarygodne), różne mogą być sposoby ich trenowania.

Podsumowując, lekarz nie odpowiada za rezultat. Medycyna to niestety nie jest matematyka. Lekarz odpowiada zawsze na zasadzie starannego działania i powinien postępować tak, jak nakazuje aktualna wiedza medyczna. Sporne jest, czy wskazania AI mogą być uznane za aktualną wiedzę medyczną. Tutaj w każdym przypadku będzie rozstrzygał sąd. Na tym etapie przestrzegałbym przed traktowaniem wskazań AI jako zabezpieczenia na wypadek błędu i odpowiedzialności.

W jakim stopniu możliwe będzie zapobieżenie efektowi „czarnej skrzynki”? Czy w ogóle jest to realne? A jeśli nie, to co oznacza dla lekarzy?

Obecnie ogromny naukowy wysiłek wkładany jest w prace nad tzw. explainable AI. W skrócie chodzi o to, by model był w stanie wskazać, dlaczego wygenerował taką, a nie inną odpowiedź. Prace trwają nie tylko w wyniku zainteresowania regulatora takim rozwiązaniem, ale również dlatego, że usprawniłoby to proces trenowania modeli, które w rezultacie stałyby się znacząco dokładniejsze. Jeżeli przyniosą one efekt, prawo również będzie na taką zmianę musiało zareagować. Najrozsądniejszym wyjściem będzie wprowadzenie obowiązku zastosowania takiej technologii w grupie wysokiego ryzyka.

W tym momencie możemy natomiast do pewnego stopnia zapobiec negatywnym skutkom efektu czarnej skrzynki. Przede wszystkim dużą uwagę należy zwracać na standard zbierania danych oraz jakość rozwiązań. Temu ma służyć proces oceny zgodności. Nie możemy też premiować (a przynajmniej nie w medycynie) rozwiązań tańszych, bo z reguły oszczędność będzie wynikała z braku odpowiedniej weryfikacji. Mamy też dwa sprzeczne interesy – z jednej strony chcemy chronić dane, z drugiej - aby trenować algorytmy AI, powinniśmy zapewnić do nich odpowiedni dostęp. Trzeba zaznaczyć, że nie do końca znamy mechanizm działania niektórych leków, a mimo to są stosowane. To też jest trochę taki efekt czarnej skrzynki, ale w dziedzinie medycyny. Przykładem może być spora grupa leków stosowanych w psychiatrii. Nie oswoiliśmy się jeszcze z AI, tak jak ma to miejsce z wieloma urządzeniami, które oparte są o fizykę, której de facto również nie rozumiemy na fundamentalnym poziomie. Posługujemy się nawet terminem teorii fenomenologicznej. Jest w tym pewne podobieństwo do znanego testu kaczki: "Jeżeli chodzi jak kaczka i jeżeli kwacze jak kaczka, to prawdopodobnie jest kaczką"[1]. My natomiast możemy powiedzieć, jeżeli przyjmuje dane i w rezultacie daje wyniki pokrywające się z rzeczywistością w zadowalającym nas procencie przypadków, które testowaliśmy, to działa i prawdopodobnie jest to dobre rozwiązanie. Nie ważne, czy wiemy, jak ten wynik jest otrzymywany. Podobnie jak nie wiemy, jak poszczególne molekuły leku wchodzą w reakcje z organizmem. Prawnicy nie wyobrażają sobie orzeczenia bez uzasadnienia (choć nie zawsze bywa przekonujące, to jednak musi istnieć), w życiu jednak często nie jesteśmy w stanie sprawdzić, dlaczego otrzymaliśmy taki a nie inny rezultat. Z pewnym ryzykiem musimy się liczyć.

Czyli uzależnimy się od technologii?

W mojej ocenie w dłuższej perspektywie najbardziej istotne jest to, aby zapobiec naszemu uzależnieniu od AI. Być może już wkrótce nauka niektórych przedmiotów na wydziałach medycznych będzie przypominała naukę w szkołach morskich nawigacji za pomocą gwiazd. W dobie systemów takich jak GPS i geolokalizacja wydaje się to całkowicie nieprzydatne. Mimo wszystko jest to jednak niezbędne, aby zapobiec zgubnemu uzależnieniu od technologii. Medycy mogą tutaj czegoś nauczyć się od marynarzy. Ich doświadczenia mogą być przestrogą. Kilka lat temu w amerykańskiej marynarce wojennej niemal zrezygnowano z nauki posługiwania się sekstantem (proste urządzenie nawigacyjne), uznając go za archaiczny sposób wyznaczania szerokości geograficznej na morzu. Współcześnie GPS jest w stanie w dowolnym miejscu na ziemi podać tę informację znaczenie szybciej i dokładniej. Tak do tego przywyknięto, że szokiem dla Amerykańskich marynarzy, pływających po wodach Morza Czarnego był fakt, że ich nadajniki GPS wskazywały pozycję świadczącą, że właśnie wpłynęli 100 km w głąb lądu. Podejrzewa się, że to rosyjskie "systemy fałszujące GPS" wprowadziły w błąd urządzenia na wojskowym okręcie[2]. Efekt był taki, że zdecydowano się przywrócić kurs obsługi sekstansu. Może to być pewną lekcją również dla medyków. Technika bywa zawodna. Jeżeli nie do końca rozumiemy, jak działa AI, to musimy uważać, aby się od niej zbyt nie uzależnić. Z takich czy innych powodów kiedyś może przestać działać. Będziemy wtedy zdani na własną, a nie sztuczną inteligencję.

Czy lekarz będzie mógł się ubezpieczyć od odpowiedzialności za wsparcie się diagnozą AI?

Z formalnego punktu widzenia nie ma przeszkód, aby taką polisę już teraz zawrzeć. Problem polega na tym, że na rynku jak do tej pory nie ma rozwiązań przygotowanych  konkretnie z myślą o AI. Wynika to z tego, że skala zjawiska i ryzyka nie jest jeszcze znana. W niedalekiej przyszłości prawo będzie nakładało obowiązek zawarcia odpowiedniej polisy OC, np. przez jednostki notyfikowane weryfikujące ocenę zgodności systemów AI. Co istotne, szkody wynikające z działania lekarza mogą być pokrywane w ramach jego polisy (ewentualny błąd będzie działaniem lekarza a nie AI). Niewykluczone, że w niedługim czasie rynek zapełni się ofertami ubezpieczenia związanymi z AI. Należy jednak zachować czujność i dokładnie przeczytać ogólne warunki ubezpieczenia. Może się okazać, że będzie tam tyle ograniczeń, że w praktyce ubezpieczymy się od ryzyka, które nie ma prawa powstać.

Jednym z uprawnień właściciela praw autorskich jest prawo do nadzoru nad tym, jak utwór będzie wykorzystywany. Czy w przypadku AI jest to w ogóle możliwe?

Trzeba tu odróżnić dwie rzeczy: prawa do programu komputerowego oraz prawa do utworów, jakie stworzyła AI. W przypadku utworów stworzonych przez sztuczną inteligencję człowiek nie bierze udziału w samym procesie tworzenia. Jedynie pośrednio wpływa na jego powstanie. Swoją obecność zaznacza na trzech różnych etapach. Pierwszym z nich jest moment definiowania architektury modelu AI. Drugi to etap dostarczania danych uczących lub reguł, których model ma przestrzegać. Natomiast ostatnim jest impuls zawierający określony stan bazowy (zbiór parametrów startowych np. obraz, który ma zostać zmodyfikowany), stanowiący dla algorytmu punkt startu. Wyniki modeli AI są wypadkową wszystkich dostarczonych modelowi danych i nie są ścisłym rozwiązaniem problemu, a jedynie najlepszym jakie znalazł program. Człowiek występuje w roli architekta sposobu myślenia AI. Można powiedzieć, że maszyna z narzędzia do malowania stała się malarzem a człowiek jej nauczycielem. Algorytm nie ma jednak zdolności prawnej. Nie przysługują mu prawa autorskie, bo nie jest człowiekiem. Rozwiązań tego problemu jest co najmniej kilka.

„W dziedzinie zdrowia europejska przestrzeń danych dotyczących zdrowia ułatwi niedyskryminacyjny dostęp do danych dotyczących zdrowia oraz trenowanie algorytmów sztucznej inteligencji na tych zbiorach danych w sposób bezpieczny, terminowy, przejrzysty, wiarygodny i zapewniający ochronę prywatności oraz przy odpowiednim zarządzaniu instytucjonalnym” – co oznacza dla pacjentów oraz dla lekarzy ten fragment z AI Act?

Dla pacjentów i lekarzy znaczy to w praktyce niewiele. Jest to fragment jednego z motywów projektu AI Act (motyw 45). Jedną z charakterystycznych cech prawa UE jest wskazywanie w preambule aktów prawnych motywów danej regulacji. Wynika to z tego, że rozporządzenie UE ma obowiązywać na terenie całej Unii i w wielu jurysdykcjach. Takie wskazywanie motywów pozwala często uniknąć wątpliwości interpretacyjnych. Pokazuje się przez to, czemu prawo ma służyć i jaki jest jego cel. Jest to wskazówka, jak powinno się prawo interpretować. Często też pozwala wyjść z sytuacji, gdy konkretny przepis został błędnie przetłumaczony (np. tak że jego sens znika). Wbrew pozorom nie są to wcale takie rzadkie przypadki, jeśli trzeba ten sam tekst prawny przetłumaczyć na ponad 20 języków narodowych. Preambuła pomaga więc w wykładni, ale sama w sobie nie zawiera norm prawnych. Jest to raczej takie życzenie – prawo ma dać taki a nie inny skutek i do tego jest stworzone, tak należy je czytać w razie wątpliwości. Czy tak będzie i faktycznie cel ten zostanie osiągnięty a ochrona prywatności zostanie zapewniona - czas pokaże. Trzeba mieć na uwadze, że AI Act ma pogodzić ogień z wodą. Z jednej strony ma chronić prywatność, z drugiej natomiast umożliwić trenowanie algorytmów. Doświadczenie pokazuje, że ochrona jednej wartości często odbywa się kosztem innej.

Dariusz Tarabasz, adwokat w Czyżewscy kancelaria adwokacka. Zajmuje się zagadnieniami związanymi z prawem farmaceutycznym, prawem wyrobów medycznych, prawem własności intelektualnej, a także nowymi technologiami

[1] https://en.wikipedia.org/wiki/Duck_test;

[2] Historię opisano w jednym z marynistycznych czasopism amerykańskich – źródło: https://maritime-executive.com/editorials/mass-gps-spoofing-attack-in-black-sea dostęp z dnia 15.06.2023