IBM Watson Health, czyli wielkie obietnice, które nie sprostały rzeczywistości

W 2011 roku cały świat z wypiekami na twarzy oglądał, jak superkomputer IBM Watson rozgromił dwóch mistrzów teleturnieju „Jeopardy!”. IBM postanowił wykorzystać ten triumf i skierować Watsona w stronę najbardziej ambitnego celu, jaki można sobie wyobrazić – wyleczenia raka.

Czym był IBM Watson Health?

IBM Watson Health był specjalną jednostką biznesową powołaną w 2015 roku, której celem było przeniesienie zdolności poznawczych systemu Watson do opieki zdrowotnej. Ówczesna CEO IBM, Ginni Rometty, nie kryła ambicji – w wywiadzie dla „Charlie Rose” określiła projekt mianem „moonshot”, czyli przedsięwzięcia na miarę lądowania na Księżycu^[1]. Firma przeżywała wówczas kilka lat z rzędu spadków przychodów i desperacko szukała pomysłu, który odmieni jej wizerunek z „starej gwardii” przemysłu komputerowego w pioniera sztucznej inteligencji^[2].

Fundamentem całego przedsięwzięcia był system, który zdobył sławę dzięki zdolności rozumienia i przetwarzania języka naturalnego. IBM wierzył, że Watson potrafi przetworzyć miliony stron literatury medycznej – ponad 300 czasopism naukowych i 200 podręczników, obejmujących łącznie ponad 15 milionów stron tekstu^[3] – i na tej podstawie wspierać onkologów w podejmowaniu decyzji terapeutycznych. Żeby „nakarmić” maszynę danymi, firma wydała około 4–5 miliardów dolarów na przejęcia firm zajmujących się analizą danych medycznych, w tym Truven Health Analytics, Merge Healthcare, Explorys i Phytel^[4].

Flagowym produktem był Watson for Oncology (WFO), opracowany we współpracy z Memorial Sloan Kettering Cancer Center (MSKCC) w Nowym Jorku – jednym z najsłynniejszych ośrodków onkologicznych na świecie. System miał dostarczać lekarzom rekomendacje terapeutyczne oparte na dowodach naukowych dla 13 rodzajów nowotworów^[5].

W szczytowym okresie Watson for Oncology był wdrażany w 230 szpitalach w 14 krajach, od Indii przez Chiny i Koreę Południową po Tajlandię i Polskę^[6]. W portfolio znajdowały się również Watson for Genomics do analizy mutacji genetycznych oraz Watson for Drug Discovery, wspierający poszukiwanie nowych leków we współpracy m.in. z firmą Pfizer.

Na papierze wszystko wyglądało imponująco. W szczytowym momencie dywizja Watson Health zatrudniała około 7000 pracowników^[7], a IBM zalewał media obietnicami o „cyfrowym doktorze”, który przechytrzy raka. Rzeczywistość okazała się jednak brutalnie odmienna.

Dlaczego IBM Watson Health upadł?

Watson zdobył sławę, odpowiadając na pytania w teleturnieju – wyszukując konkretne fakty w ustrukturyzowanych bazach danych. Medycyna kliniczna to jednak zupełnie inny świat. Dokumentacja medyczna jest pełna odręcznych notatek, skrótów myślowych, błędów i niejednoznaczności. Jak ujęła to Lynda Chin, jedna z liderek projektu w MD Anderson Cancer Center: „Nauczenie maszyny czytania dokumentacji medycznej jest znacznie trudniejsze, niż ktokolwiek przypuszczał”^[8]. Watson miał problemy nawet z poprawną interpretacją negacji – gdy lekarz zapisał, że pacjent „nie wykazuje objawów krwotoku”, system mógł wyłapać słowo „krwotok” bez zrozumienia zaprzeczenia, co prowadziło do błędnej oceny ryzyka.

Watson for Oncology był szkolony głównie na hipotetycznych przypadkach tworzonych przez niewielką grupę lekarzy z jednej instytucji – MSKCC. Zamiast rzeczywistych danych podłużnych tysięcy pacjentów, system karmiono „syntetycznymi” scenariuszami, które odzwierciedlały subiektywne preferencje wąskiego grona specjalistów^[9]. Jak stwierdził Nigam Shah, profesor medycyny ze Stanfordu: „Wszyscy myślą, że to konsensus całego potencjału intelektualnego Sloan Kettering. W rzeczywistości to konsensus niewielkiej podgrupy. Powinni być z tego rozliczeni”^[10].

Kiedy system wdrożono poza USA, jego rekomendacje okazały się nieadekwatne do lokalnych standardów leczenia. W Danii pilotaż w szpitalu Rigshospitalet w Kopenhadze wykazał, że Watson zgadzał się z decyzjami tamtejszych onkologów zaledwie w około 33% przypadków – w efekcie szpital zrezygnował z wdrożenia^[11]. W Korei Południowej zgodność dla raka żołądka wynosiła jedynie 49%^[12], a dla raka okrężnicy u pacjentów powyżej 70. roku życia spadała do zaledwie 20,2%^[13]. Powodem były m.in. różnice w dostępności leków – terapie rekomendowane przez Watsona często nie były objęte lokalnymi systemami ubezpieczeń zdrowotnych.

Dokumenty wewnętrzne IBM, uzyskane przez dziennikarzy STAT News, ujawniły „liczne przykłady niebezpiecznych i błędnych rekomendacji terapeutycznych”^[14]. Najbardziej szokujący przypadek dotyczył 65-letniego mężczyzny z rakiem płuc i silnym krwawieniem, któremu Watson zasugerował podanie bewacyzumabu – leku, którego kategorycznie nie można stosować u pacjentów z poważnymi krwotokami^[15]. Lekarz z Jupiter Hospital na Florydzie, który testował system, powiedział wprost przedstawicielom IBM: „Ten produkt to gówno. Kupiliśmy go dla marketingu i z nadzieją, że zrealizujecie wizję. Nie możemy go używać w większości przypadków”^[16].

Jednym z najbardziej spektakularnych niepowodzeń był projekt Oncology Expert Advisor (OEA), realizowany od 2012 roku we współpracy z MD Anderson Cancer Center w Houston. Początkowy budżet wynosił niespełna 5 milionów dolarów, ale po wielokrotnym rozszerzaniu zakresu prac koszty eksplodowały do 62 milionów^[17].

System zintegrowano z wewnętrznym systemem dokumentacji medycznej ClinicStation – tyle że w marcu 2016 roku szpital przeszedł na system Epic, a Watson nie potrafił się z nim zsynchronizować^[18]. W efekcie 62 miliony dolarów poszły na system, którego nie użyto do leczenia ani jednego pacjenta^[19]. Audyt University of Texas System ujawnił liczne nieprawidłowości w zarządzaniu projektem, w tym dwunastokrotne przedłużanie kontraktu z IBM, którego opłaty wzrosły z pierwotnych 2,4 miliona do 39,2 miliona dolarów^[20].

Jak ujawnili byli pracownicy i analitycy branżowi, IBM stosował wewnętrzną praktykę nazywaną „blue washingiem” – zmuszając nowo przejęte, innowacyjne firmy do porzucenia ich nowoczesnych rozwiązań i przejścia na przestarzałe struktury korporacyjne IBM. Zamiast rozwijać produkty, inżynierowie spędzali lata na migracjach baz danych. Paddy Padmanabhan, CEO Damo Consulting, podsumował to lapidarnie: „IBM sam sobie zadał rany, pozwalając, by marketing wyprzedził rzeczywistość”^[21].

W 2022 roku IBM ostatecznie sprzedał aktywa Watson Health funduszowi private equity Francisco Partners za około 1 miliard dolarów – ułamek wartości poniesionych inwestycji^[22]. Dywizja została przekształcona w samodzielną firmę Merative, która skupia się na pragmatycznej analizie danych zdrowotnych.

Czego można nauczyć się z historii IBM Watson Health?

Casey Ross, dziennikarz STAT News śledzący losy Watsona od lat, stwierdził: „To będzie case study dla szkół biznesowych na całe dekady”^[23]. Jakie konkretnie lekcje płyną z tej historii?

Jednym z największych błędów IBM było postawienie sobie na starcie najbardziej ambitnego celu, jaki istnieje w medycynie – leczenia raka. Analitycy i eksperci informatyki medycznej wielokrotnie podkreślali, że firma wybrała zbyt ambitne cele, nie angażując się wystarczająco głęboko w naukę stojącą za produktami^[24]. Historia Watson Health pokazuje, że projekty typu „low-hanging fruit” – automatyzacja zadań administracyjnych, wspomaganie rezerwacji, usprawnianie procesów rozliczeniowych – przynoszą znacznie lepsze efekty operacyjne i budują zaufanie, na bazie którego można stopniowo skalować technologię.

Narzędzia uczenia maszynowego są dokładnie tak dobre, jak dane, na których zostały wytrenowane. Watson for Oncology opierał się na hipotetycznych scenariuszach tworzonych przez wąskie grono specjalistów z jednej amerykańskiej kliniki, co czyniło go bezużytecznym w krajach o odmiennych standardach leczenia^[25]. Jak stwierdził Shyam Gollakota, przedsiębiorca z branży health-tech: „Ręcznie tworzone lub syntetyczne dane nie są złe same w sobie, ale Watson nie uwzględnił faktu, że te dane odzwierciedlały uprzedzenia i martwe punkty lekarzy, którzy je tworzyli”^[26].

Skuteczne systemy AI w medycynie powinny być projektowane jako narzędzia wspierające decyzje kliniczne, a nie jako „cyfrowi lekarze”. IBM popełnił błąd, pozycjonując Watsona jako autonomiczny superkomputer zdolny zastąpić ludzką ekspertyzę. Tymczasem lekarze – ludzie, którzy spędzili dekadę na nauce swojego zawodu – naturalnie opierają się technologii, która twierdzi, że zna ich pacjentów lepiej niż oni sami^[27]. Kiedy Watson generował rekomendacje, które onkolodzy albo już znali, albo uznawali za sprzeczne z ich doświadczeniem, zaufanie do systemu gwałtownie spadało.

Projekt za 62 milionów dolarów w MD Anderson upadł m.in. dlatego, że Watson nie potrafił współpracować z nowym systemem elektronicznej dokumentacji medycznej[^28]. To przestroga dla każdej firmy technologicznej wchodzącej na rynek medyczny – nawet najlepsza technologia jest bezwartościowa, jeśli nie potrafi płynnie współgrać z codziennymi narzędziami pracy lekarzy.

IBM stworzył ogromną „lukę percepcyjną” między laboratoryjnymi obietnicami a rzeczywistością kliniczną. Reklamy przedstawiały Watsona jako wszechwiedzącą siłę medyczną zdolną do „przechytrzenia raka”, podczas gdy w praktyce system funkcjonował raczej jako zautomatyzowany, pracochłonny bibliotekarz medyczny.

W 2017 roku AI było „Marketingowym Słowem Roku”, a venture capitalista Chamath Palihapitiya z Social Capital nie przebierał w słowach: „Watson to żart. IBM jest doskonały w wykorzystywaniu swojej infrastruktury sprzedażowej do przekonywania ludzi, którzy mają asymetrycznie mniej wiedzy, żeby za coś zapłacili”^[29]. Kiedy rzeczywiste wyniki okazały się skromne, nastąpiło gwałtowne rozczarowanie, które podkopało reputację IBM na rynku AI w medycynie na lata.

Czy to oznacza, że sztuczna inteligencja nie ma przyszłości w ochronie zdrowia? Wręcz przeciwnie. Jak podkreśla wielu ekspertów, porażka Watsona nie przekreśla potencjału AI – raczej pokazuje, jak go nie wdrażać. IBM był pionierem, który – jak mówi angielskie powiedzenie – „skończył ze strzałami w plecach”^[30], ale jego błędy – rygorystycznie udokumentowane i przeanalizowane – torują drogę następcom, którzy mogą uniknąć tych samych pułapek. Pod warunkiem, że zaczną od pokory wobec złożoności ludzkiego organizmu, a nie od kampanii reklamowej.