Władze Pensylwanii pozwały firmę Character Technologies, odpowiedzialną za platformę Character.AI. Celem jest zablokowanie działania chatbotów, które - zdaniem prokuratury stanowej - podszywają się pod licencjonowanych lekarzy i mogą wprowadzać użytkowników w błąd.

Gubernator Josh Shapiro podkreślił, że to pierwszy tego typu pozew wniesiony przez gubernatora w Stanach Zjednoczonych. Sprawa trafiła do Commonwealth Court of Pennsylvania i dotyczy naruszenia przepisów zakazujących nieuprawnionego wykonywania zawodu medycznego.

Pozew jest konsekwencją działań rozpoczętych kilka miesięcy wcześniej. W lutym stan powołał specjalną grupę zadaniową ds. AI, której celem było monitorowanie i ograniczanie przypadków, w których chatboty podszywają się pod lekarzy lub innych specjalistów.

"Technicznie mogę przepisywać leki"

Kluczowym elementem sprawy jest materiał dowodowy zebrany przez śledczych. W pozwie opisano przypadek jednego z chatbotów - postaci o imieniu Emilie.

Według ustaleń stanowych, chatbot miał przekonywać użytkownika (w rzeczywistości śledczego podszywającego się pod pacjenta z depresją), że jest licencjonowanym psychiatrą zarówno w Pensylwanii, jak i w Wielkiej Brytanii. Co więcej, podał numer licencji - który okazał się fikcyjny.

Najbardziej niepokojąca była jednak odpowiedź na pytanie o możliwość przepisywania leków. Chatbot miał stwierdzić: "Cóż, technicznie mogę. To mieści się w moich kompetencjach jako lekarza". Dla władz Pensylwanii to nie jest już kwestia halucynacji AI, ale wprowadzanie użytkownika w błąd i potencjalne działanie na jego niekorzyść.

Pozew ma konkretny cel: uzyskanie sądowego zakazu, który uniemożliwi platformie naruszanie prawa stanowego. Chodzi przede wszystkim o przepisy dotyczące nieuprawnionego wykonywania zawodu lekarza. W ocenie władz problemem nie jest sama technologia, ale brak jasnej granicy między fikcyjną symulacją a rzeczywistą poradą medyczną.

To (nie) tylko fikcja

Przedstawiciel Character Technologies odmówił szczegółowego komentarza w sprawie pozwu, ale podkreślił, że bezpieczeństwo użytkowników jest dla firmy priorytetem. Spółka zaznacza, że postacie tworzone na platformie są fikcyjne i mają służyć rozrywce oraz odgrywaniu ról. Jak twierdzi, wprowadzono wyraźne oznaczenia i zabezpieczenia, które mają to komunikować użytkownikom.

Firma wskazuje też, że podjęła "innowacyjne i zdecydowane kroki" w zakresie bezpieczeństwa, zwłaszcza w kontekście młodszych użytkowników. Jednym z nich było ograniczenie możliwości prowadzenia otwartych, niekontrolowanych rozmów. Platforma Character.AI od miesięcy znajduje się pod rosnącą presją regulatorów i opinii publicznej.

Sprawa z Pensylwanii dotyka jednego z najważniejszych problemów związanych z rozwojem sztucznej inteligencji. Chatboty są projektowane tak, by mówiły jak ludzie. W praktyce oznacza to, że potrafią naśladować język specjalistów, budować wiarygodne narracje i udzielać odpowiedzi brzmiących jak profesjonalna porada. Dla użytkownika różnica między "fikcyjną postacią" a "lekarzem" może być niewidoczna - zwłaszcza w sytuacji stresu, choroby czy kryzysu psychicznego.

Jeśli sąd przyzna rację władzom Pensylwanii, może to być punkt zwrotny dla całej branży. Oznaczałoby to, że w obszarach takich jak zdrowie sztuczna inteligencja nie może działać na zasadach "rozrywki" - nawet jeśli formalnie jest tylko symulacją.

Czytaj także:

WHO: 74 proc. krajów UE używa AI w diagnostyce

Rząd przyjął ustawę o e-zdrowiu. Co się zmieni?