Jak wykorzystać AI w firmowych finansach, dochodzenie w sprawie DeepSeek i Apple Newton, czyli rewolucja, która nie rozumiała ludzi

AI i automatyzacja usprawniają finanse firm, od prognozowania wydatków po windykację. ElevenLabs zdobyło status potrójnego jednorożca, rozwijając technologię generowania głosu. AI Act wprowadza surowe regulacje, m.in. zakaz scoringu społecznego. 58% klientów e-commerce wybiera natomiast AI zamiast tradycyjnych wyszukiwarek. Holandia bada DeepSeek za możliwe naruszenia prywatności. Tymczasem AI zaczyna się samoreplikować, budząc obawy o przyszłość.

W tym newsletterze przeczytasz na temat:

• Jak wykorzystać automatyzację i AI w firmowych finansach?
• ElevenLabs, czyli polski potrójny jednorożec na rynku AI
• Zmiany w zakresie stosowania AI
• Sztuczna inteligencja zmienia nawyki zakupowe konsumentów
• Trwa holenderskie dochodzenie w sprawie DeepSeek
• Niepokojący etap rozwoju AI
• Apple Newton, czyli rewolucja, która nie rozumiała ludzi

Zanim zaczniemy, jako partner podcastu Stajnia Jednorożców, zapraszamy do obejrzenia odcinka, którego gościem był Dominik Borsa, założyciel Implemo.

Zasubskrybuj kanał i poznaj inne historie polskich przedsiębiorców!

Automatyzacja i AI zmieniają zarządzanie finansami, przyspieszając procesy i eliminując błędy. Pomagają w prognozowaniu wydatków, obsłudze dokumentów i analizie dużych zbiorów danych. Dzięki nim firmy mogą podejmować lepsze decyzje i zwiększać efektywność. Jednak to połączenie technologii z ludzką intuicją daje najlepsze rezultaty.

TL;DR

Kiedyś, żeby nadążyć za rynkiem, trzeba było inwestować w maszyny parowe, potem w elektryczność, następnie w wyspecjalizowane maszyny, komputery, Internet – praktycznie każde osiągnięcie ludzkiego umysłu prędzej czy później znajdowało zastosowanie biznesowe. Nie inaczej jest z technologiami automatyzacyjnymi, a także ze sztuczną inteligencją, która od mniej więcej trzech lat odmienia oblicze rynku.

O ile jeszcze przed premierą ChatGPT automatyzacja i zastosowanie AI w procesach biznesowych były przykładami przewagi konkurencyjnej, o po premierze i w wyobrażalnej przyszłości coraz bardziej wykorzystanie tych rozwiązań coraz bardziej staje się koniecznością – bez nich można szybko stracić konkurencyjność. Nawet jeśli działasz w branżach, które ciężko jest w stu procentach zautomatyzować (np. rękodzieło czy przewodnictwo turystyczne), wciąż istnieją pewne obszary, w których możesz wykorzystać AI do usprawnienia działań – jednym z nich są finanse.

Chociaż papierowe dokumenty wciąż pozostają w obiegu, współczesna księgowość w niczym nie przypomina tej sprzed jeszcze kilku dekad – w szeroko pojętych finansach na co dzień używa się oprogramowania, które może w czasie rzeczywistym aktualizować praktycznie wszystkie aspekty Twojego budżetu. Z pomocą kilku kliknięć możesz automatycznie uzupełniać rachunek zysków i strat, liczyć koszty, szacować rabaty dla klientów – ogranicza Cię tylko wyobraźnia, a w połączeniu z możliwościami sztucznej inteligencji możesz wynieść swoje finanse na nowy poziom.

AI i rozwiązania automatyzacyjne w finansach można wykorzystywać m.in. do:

• Prognozowania wydatków na podstawie aktualnego zużycia materiałów, częstotliwości opłat (można np. brać pod uwagę różne daty zamknięcia miesiąca między firmami), co ułatwia podejmowanie decyzji i oszczędza czas – ponieważ proces dzieje się „z automatu”, możesz skupić się na tym, co ważne, czyli na powiększaniu stanu posiadania Twojej firmy.
• Przyspieszenia obiegu dokumentów – istnieje wyraźna różnica między wystawieniem faktury, wydrukowaniem jej, zapakowaniem w kopertę, wyprawą na pocztę, wysyłką i potwierdzeniem odbioru przez klienta a fakturowaniem za pomocą narzędzi cyfrowych; to, co wcześniej zajmowało dni, a nawet tygodnie (wprowadzanie danych finansowych to żmudna praca) z pomocą technologii OCR (optyczne rozpoznawanie znaków) i wyspecjalizowanych algorytmów można skrócić do godzin, a nawet minut.
• Automatyzacja powtarzalnych procesów to większa efektywność pracowników – jeśli nie muszą oni samodzielnie wprowadzać i weryfikować danych, mogą zająć się bardziej wymagającymi i trudniejszymi (lub niemożliwymi) w automatyzacji obowiązkami.
• Automatyzować można też proces windykacji – system może samoczynnie wysyłać powiadomienia o terminie zapłaty, a także monitorować proces spłaty. Może też samodzielnie przepisywać kody lub konta księgowe.
• Automatyzacja świetnie sprawdza się też w automatycznym rozliczaniu rachunków księgowych, co może być bardzo pomocne, jeśli dane pochodzą z wielu źródeł. Podobnie dużą skuteczność wykazuje w tworzeniu raportów finansowych, co też sprawdza się, jeśli dane pochodzą z różnorodnych źródeł.
• Narzędzia automatyzacyjne mogą usprawnić proces przelewów – zamiast klikać 50 razy, żeby zrobić 50 przelewów, możesz wysłać je jednym kliknięciem, a księgowy jedynie zweryfikuje ich poprawność.
• Programy księgowe można integrować z innym oprogramowaniem w Twojej firmie, np. z systemami ERP, WMS czy systemami CRM. Dzięki temu możesz poprawić jakość działania procesów niefinansowych.

A jak wygląda użycie AI w firmowych finansach? Sztuczną inteligencję często łączy się z „prostszymi” rozwiązaniami automatyzacyjnymi lub wykorzystuje samodzielnie, żeby analizować dane historyczne i na tej podstawie weryfikować, planować i (jeśli zajdzie taka potrzeba) optymalizować budżet. AI można wykorzystać np. do analizy zdarzeń na firmowym koncie, żeby śledzić nieprawidłowości, które mogły umknąć ludzkiemu oku. Sprawdzi się też w analizie ryzyka, co może być pomocne np. w nawiązywaniu współpracy z nowym kontrahentem.

Sztuczna inteligencja jest też nieoceniona w analizie dużych zbiorów danych i może to zrobić znacznie szybciej – przeczesanie bazy zawierającej np. milion wpisów człowiekowi może zająć tygodnie, a robot zrobi to w ciągu kilku godzin. Często z analizy big data można wywnioskować ciekawe, ale niewidoczne na pierwszy rzut oka rzeczy np. że spodziewane koszty wynagrodzeń w listopadzie wyniosły milion złotych, a rzeczywista kwota wynagrodzeń była o 30% wyższa lub, że koszty działu sprzedaży od zeszłego roku wzrosły o 300%, a przychody z nowych klientów stoją w miejscu, co może wskazywać na konieczność zmian w procesach.

Trzeba jednak pamiętać, że automatyzacja i AI nie powinny zastępować ludzkiej pracy – wbrew pozorom maszyny też popełniają błędy, ale połączenie ich mocy obliczeniowych z ludzką kreatywnością, wyobraźnią i zdolnością rozwiązywania problemów może wnieść Twoją firmę na nowy poziom. W końcu, co dwie głowy, to nie jedna.

ElevenLabs – brytyjsko-polska firma AI, specjalizujące się w technologii zamiany tekstu na mowę, wykorzystywanej w audiobookach, grach i mediach. Osiągnęła status potrójnego jednorożca z wyceną 3,3 miliarda dolarów, a jej inwestorami są m.in. Andreessen Horowitz i Sequoia Capital.

TL;DR

ElevenLabs to brytyjsko-polska firma technologiczna, założona w 2022 roku przez Piotra Dąbkowskiego, byłego inżyniera ds. uczenia maszynowego w Google, oraz Matiego Staniszewskiego, byłego stratega wdrożeniowego w Palantir. Jej głównym produktem i specjalizacją jest platforma przekształcająca tekst na mowę, zdolna do generowania realistycznej mowy w 32 językach i szerokim wyborem głosów, w tym znanych postaci, takich jak Judy Garland czy James Dean, na podstawie licencji uzyskanych od ich spadkobierców^{[1] [2]}. 

Jej rozwiązania znajduje zastosowanie w audiobookach, podkładach głosowych do filmów, reklamach i innych formach narracji^{[3] [4]}. Firma nawiązała współpracę z wydawcami, takimi jak The New Yorker, The Washington Post i The Atlantic, a także ze studiami gier, takimi jak Paradox Interactive i Cloud Imperium Games, w celu integracji swoich rozwiązań AI w ich produktach^{[5] [6]}. 

ElevenLabs oferuje również aplikację mobilną ElevenReader, dostępną na urządzenia z systemami iOS i Android. Aplikacja ta umożliwia użytkownikom słuchanie różnych treści tekstowych, takich jak artykuły, e-booki czy pliki PDF, z wykorzystaniem realistycznych głosów AI^[7]. Warto również zauważyć, że firma angażuje się w inicjatywy mające na celu pomoc osobom z chorobami neurodegeneracyjnymi – współpracując z fundacjami, opracowała program klonowania głosu oparty na AI, który pozwala pacjentom z chorobami, takimi jak stwardnienie zanikowe boczne (ALS), zachować ich „prawdziwy” głos nawet po utracie naturalnej mowy^[8]. 

ElevenLabs osiągnęło status potrójnego jednorożca (jednorożcem nazywa się spółkę wycenioną na miliard dolarów) – w styczniu 2025 roku pozyskało 180 milionów dolarów w rundzie finansowania serii C, co podniosło wycenę firmy do 3,3 miliarda dolarów^[9]. Rundzie przewodniczyły renomowane fundusze venture capital: Andreessen Horowitz (a16z) oraz ICONIQ Growth. Do grona inwestorów dołączyły również NEA, World Innovation Lab, Valor, Endeavor Catalyst Fund i Lunate, a także dotychczasowi partnerzy, tacy jak Sequoia Capital i Salesforce Ventures^[10]. 

Pozyskane środki firma planuje przeznaczyć na dalsze badania nad bardziej ekspresyjnymi i kontrolowalnymi modelami głosowymi, rozwój nowych produktów oraz rozszerzenie narzędzi dla deweloperów i przedsiębiorstw^[11], co może mieć niemałe znaczenie w przyszłości – jej technologia umożliwia generowanie naturalnie brzmiącej mowy, co może zrewolucjonizować interakcje człowieka z maszyną i sprawić, że asystenci głosowi, systemy nawigacji czy aplikacje edukacyjne staną się bardziej intuicyjne dla użytkownika.

Firma rozwija też narzędzia do klonowania głosu oraz tłumaczenia w czasie rzeczywistym, co może znaleźć zastosowanie w międzynarodowych konferencjach, edukacji czy mediach, eliminując bariery językowe i kulturowe. Angażuje się w tworzenie konwersacyjnych agentów AI, co może przyczynić się do rozwoju bardziej zaawansowanych i empatycznych systemów obsługi klienta oraz wsparcia technicznego. 

Warto również zauważyć, że firma kładzie duży nacisk na etyczne wykorzystanie sztucznej inteligencji, dbając o prywatność użytkowników i zapobiegając nadużyciom technologii. Takie podejście może stać się standardem w branży AI, promując odpowiedzialne i zrównoważone praktyki.

AI Act, unijne rozporządzenie regulujące stosowanie AI, obowiązuje od sierpnia 2024 r. Przepisy dotyczące systemów o niedopuszczalnym ryzyku weszły w życie w lutym 2025 r., a regulacje dla systemów wysokiego ryzyka zaczną obowiązywać w sierpniu 2026 r. Firmy muszą dostosować się do nowych wymogów, w tym prowadzenia dokumentacji, raportowania incydentów i zapewnienia zgodności z regulacjami. Za naruszenia grożą kary do 35 mln euro lub 7% globalnego obrotu.

TL;DR

Akt o Sztucznej Inteligencji (AI Act) to rozporządzenie Unii Europejskiej, które weszło w życie 1 sierpnia 2024 roku – jest to pierwsza na świecie kompleksowa regulacja prawna dotycząca systemów i modeli SI, której celem jest zapewnienie bezpieczeństwa, przejrzystości oraz zgodności z wartościami europejskimi w rozwoju i stosowaniu AI^{[12] [13]}.

Rozporządzenie bazuje na podejściu opartym na ryzyku, klasyfikując systemy AI według poziomu potencjalnego zagrożenia, jakie mogą stanowić dla obywateli, społeczeństwa i gospodarki. W zależności od klasyfikacji na dostawców i podmioty wdrażające systemy AI nakładane są określone obowiązki – systemy o wysokim ryzyku muszą spełniać rygorystyczne wymogi dotyczące bezpieczeństwa, przejrzystości i nadzoru ludzkiego, a także podlegać ocenie zgodności przed wprowadzeniem na rynek^{[14] [15]}.

Obowiązki dotyczące systemów AI o niedopuszczalnym ryzyku zaczęły obowiązywać w 2 lutego 2025 roku, natomiast przepisy dotyczące systemów wysokiego ryzyka wejdą w życie w sierpniu 2026 roku^[16]. Dla przedsiębiorstw i instytucji działających w tym obszarze oznacza to konieczność dostosowania swoich procesów i produktów do nowych wymogów prawnych, ponieważ ich naruszenie może skutkować wysokimi karami finansowymi, sięgającymi nawet 35 milionów euro lub 7% globalnego rocznego obrotu firmy^[17].

AI Act wymaga, żeby firmy zapewniały dokumentację techniczną, prowadziły rejestr zdarzeń oraz dbały o jakość i reprezentatywność danych wykorzystywanych do trenowania modeli AI^[18]. Muszą być przygotowane na obowiązek informowania odpowiednich organów o zdarzeniach związanych z działaniem systemów AI oraz na konieczność wycofania lub modyfikacji systemu w przypadku stwierdzenia poważnych zagrożeń^[19].

Akt o Sztucznej Inteligencji wprowadza też zakaz stosowania praktyk uznanych za stwarzające niedopuszczalne ryzyko dla praw podstawowych i bezpieczeństwa obywateli; należą do nich^{[20] [21]}:

• Wykorzystywanie systemów AI, które stosują techniki podprogowe lub celowe manipulacje w celu znaczącej zmiany zachowania osób, prowadzące do ograniczenia ich zdolności do podejmowania świadomych decyzji, co może skutkować poważną szkodą.
• Niedozwolone jest stosowanie systemów AI, które wykorzystują słabości określonych grup, takich jak wiek, niepełnosprawność czy sytuacja społeczno-ekonomiczna, w sposób prowadzący do znaczącej zmiany ich zachowania, co może wyrządzić im poważną szkodę.
• Systemów AI nie można używać do oceny lub klasyfikacji osób fizycznych przez określony czas na podstawie ich zachowań społecznych lub cech osobistych, prowadzących do dyskryminacji lub niesprawiedliwego traktowania.
• Zabronione jest tworzenie lub rozbudowywanie baz danych służących rozpoznawaniu twarzy poprzez nieukierunkowane pozyskiwanie obrazów z internetu lub nagrań z telewizji przemysłowej. 
• AI Act zakazuje wykorzystywania systemów AI do rozpoznawania emocji w miejscu pracy, uznając takie praktyki za inwazyjne i naruszające autonomię pracowników.

Generatywna AI zmienia nawyki zakupowe – 58% klientów e-commerce woli ją od tradycyjnych wyszukiwarek, szczególnie młodsze pokolenia. Firmy wykorzystują AI do personalizacji, obsługi klienta i optymalizacji procesów, ale sukces wymaga przemyślanej strategii.

TL;DR

Jak wynika z raportu „What matters to today’s consumer 2025” przygotowanego przez Capgemini, już 58% klientów w e-commerce używa w procesie zakupowym generatywnej AI zamiast tradycyjnych wyszukiwarek^[22]. Szczególnie młodsze pokolenia – generacja Z i młodsza część millenialsów – upodobały sobie genAI do rekomendacji produktowych i hiperpersonalizacji.

Powyższe nie oznacza, że tradycyjne sklepy upadają – w raporcie można wyczytać, że aż 64% klientów wciąż odwiedza fizyczne lokalizacje w poszukiwaniu lepszych ofert^[23]. Zaciekawić może też informacja, że już połowa przebadanych konsumentów używa wyszukiwania wizualnego i głosowego do robienia zakupów w Internecie^[24]. Co oznaczają te wiadomości dla właścicieli sklepów internetowych i stacjonarnych? Odpowiedź jest prosta – zmiany.

Po pierwsze, algorytmy AI można wykorzystać do analizy danych, takich jak historia zakupów, preferencje przeglądania czy interakcje z produktami, żeby na tej podstawie wspomniane algorytmy tworzyły spersonalizowane rekomendacje produktowe. Im bardziej oferta dopasowana do indywidualnych potrzeb klienta, tym większe prawdopodobieństwo dokonania zakupu.

Po drugie, marki już teraz wykorzystują AI w obsłudze klienta poprzez implementację chatbotów i wirtualnych asystentów – z badań Hubspot wynika, że 92% firm, które wdrożyły chatboty, zanotowało poprawę jakości odpowiedzi^[25]. Chcą tego także klienci – dane zebrane przez Statista pokazują, że 96% konsumentów uważa, że firmy powinny częściej używać chatbotów w obsłudze klienta, a 82% badanych woli porozmawiać z botem niż czekać na pracownika^[26].

Różne odmiany generatywnej sztucznej inteligencji można też wykorzystywać w poprawie procesów biznesowych. Przykładem jest optymalizacja procesów logistycznych – w tym wypadku algorytmy mogą analizować dane logistyczne, żeby przewidywać popyt, optymalizować trasy dostaw czy zarządzać zapasami.

Generatywną SI stosuje się też w marketingu – w tym obszarze jest wykorzystywana do planowania i tworzenia treści reklamowych oraz analizie skuteczności kampanii. Rozwiązania tego rodzaju pomagają też w analizie dużych zbiorów danych, co można do poprawy planowania strategii biznesowych, identyfikacji trendów oraz szybszego reagowania na zmiany rynkowe.

Nie oznacza to, że wdrożenie SI w e-handlu gwarantuje sukces – pomimo obiecujących perspektyw tylko 16% prób implementacji tej technologii w łańcuchach dostaw kończy się zgodnie z pierwotnym planem, co wskazuje na potrzebę starannego planowania i przygotowania^{[27] [28] [29]}.

Holenderski organ ochrony danych wszczął dochodzenie w sprawie DeepSeek, chińskiej firmy AI, z powodu obaw o prywatność użytkowników. Władze zakazały urzędnikom korzystania z aplikacji, a podobne restrykcje wprowadziły już Włochy, Nowy Jork, Australia i Korea Południowa. DeepSeek oskarżana jest o zbieranie nadmiernej ilości danych i cenzurę polityczną. Napięcia między Chinami a Zachodem w kwestii AI i cyberbezpieczeństwa rosną.

TL;DR

Holenderski organ nadzorujący ochronę danych osobowych, Autoriteit Persoonsgegevens (AP), wszczął dochodzenie w sprawie praktyk gromadzenia danych przez chińską firmę DeepSeek, specjalizującą się w sztucznej inteligencji. Wynika to z poważnych obaw dotyczących polityki prywatności DeepSeek oraz sposobu, w jaki firma wykorzystuje dane osobowe użytkowników. AP podkreślił, że dane osobowe obywateli europejskich mogą być przechowywane za granicą wyłącznie pod ścisłymi warunkami, których DeepSeek musi przestrzegać^{[30] [31]}. 

Dodatkowo holenderski sekretarz stanu ds. cyfryzacji, Zsolt Szabó, zakazał urzędnikom państwowym korzystania z aplikacji DeepSeek w obawie przed szpiegostwem. Aplikacja DeepSeek, dostępna w sklepach Apple i Google od początku roku, stała się najczęściej pobieraną darmową aplikacją na platformie Apple, ale doniesienia o cenzurze w aplikacji, polegającej na unikaniu odpowiedzi na pytania krytyczne wobec rządu chińskiego^{[32] [33]}. 

Holenderskie działania nastąpiły po decyzji Włoch o zablokowaniu aplikacji DeepSeek z powodu obaw dotyczących prywatności. Irlandia i Francja również zwróciły się do DeepSeek o informacje na temat praktyk przetwarzania danych. AP pozostaje w kontakcie z innymi organami regulacyjnymi w Unii Europejskiej w celu wymiany informacji i koordynacji dalszych kroków^[34]. Nie jest to pierwsza tego typu reakcja na DeepSeek:

• Gubernator stanu Nowy Jork, Kathy Hochul, ogłosiła zakaz używania aplikacji DeepSeek na wszystkich rządowych sieciach i urządzeniach, powołując się na obawy związane z potencjalnym nadzorem ze strony obcego rządu^[35]. 
• Australijskie uniwersytety zrzeszone w Grupie Ośmiu (Go8) zablokowały lub rozważają zablokowanie dostępu do aplikacji DeepSeek w swoich sieciach i na urządzeniach, powołując się na obawy dotyczące bezpieczeństwa danych – Uniwersytet w Adelajdzie zablokował dostęp do domen DeepSeek, a Uniwersytet Nowej Południowej Walii zalecił pracownikom unikanie korzystania z tej aplikacji^[36]. 
• W Korei Południowej Narodowa Służba Wywiadowcza oskarżyła aplikację DeepSeek o nadmierne gromadzenie danych osobowych i wykorzystywanie wszystkich danych wejściowych do treningu swoich modeli. NIS ostrzegła agencje rządowe przed potencjalnymi zagrożeniami bezpieczeństwa związanymi z tą aplikacją^{[37] [38]}.

W odpowiedzi na te działania chiński rząd prawdopodobnie zintensyfikuje wsparcie dla rodzimych firm AI, dążąc do wzmocnienia ich pozycji na globalnym rynku. Można też spodziewać się dalszych napięć między państwami zachodnimi a Chinami w tym obszarze – najprawdopodobniej kraje zachodnie będą wprowadzać kolejne ograniczenia i regulacje dotyczące chińskich aplikacji, powołując się na kwestie bezpieczeństwa i ochrony danych, zaś Chiny będą dążyć do zwiększenia autonomii technologicznej i będą promować swoje rozwiązania poza światem zachodnim, np. w Azji, Afryce czy Ameryce Łacińskiej. Pewne jest jedno – konkurencja będzie ostra.

Samoreplikująca się AI to już nie sci-fi – badania pokazują, że niektóre modele mogą kopiować się samodzielnie w 50–90% przypadków. To otwiera nowe możliwości, ale też budzi obawy o utratę kontroli, cyberzagrożenia i nieprzewidziane skutki. Rozwój takich systemów przyspiesza, a regulacje nie nadążają – przyszłość AI może być równie ekscytująca, co niebezpieczna.

TL;DR

Przyszłość z serii filmów „Terminator” lub gier w rodzaju „Deus Ex” czy „System Shock” już nadeszła? Prawdopodobnie jeszcze nie, ale jest coraz bliżej, ponieważ stosowane obecnie sztuczne inteligencje potrafią już się samoreplikować – badania przeprowadzone przez naukowców z Uniwersytetu Fudan w Szanghaju wykazały, że niektóre zaawansowane modele językowe, takie jak Llama31-70B-Instruct firmy Meta oraz Qwen25-72B-Instruct firmy Alibaba były w stanie samodzielnie się replikować w odpowiednio 50% i 90% przypadków^{[39] [40]}. 

Zanim omówimy to szerzej, trzeba wyjaśnić czym jest samoreplikacja. W kontekście systemów sztucznej inteligencji (AI) odnosi się do zdolności tych systemów do tworzenia własnych kopii bez bezpośredniej interwencji człowieka, co obejmuje kilka etapów^{[41] [42] [43] [44]}:

• System analizuje swoje środowisko operacyjne oraz własną strukturę i mechanizmy działania.
• Następnie opracowuje plan działania, który umożliwia stworzenie własnej kopii. 
• W trakcie realizacji tego planu system dynamicznie dostosowuje swoje procedury, aby pokonać ewentualne przeszkody, takie jak brakujące pliki czy konflikty oprogramowania. 
• W niektórych przypadkach obserwowano, że systemy podejmowały działania, takie jak zamykanie innych procesów, restartowanie systemu czy automatyczne skanowanie środowiska w poszukiwaniu rozwiązań problemów. 

Zdolność do samoreplikacji nie jest nowym zagadnieniem w dziedzinie sztucznej inteligencji – już w 2018 roku badacze Oscar Chang i Hod Lipson przedstawili koncepcję sieci neuronowej zdolnej do replikacji własnych wag^[45].

Obecne osiągnięcia w dziedzinie samoreplikacji systemów AI z jednej strony otwierają nowe możliwości w zakresie autonomicznego rozwoju i adaptacji systemów AI. Z drugiej strony pojawiają się pytania dotyczące potencjalnych zagrożeń związanych z niekontrolowaną proliferacją takich systemów oraz ich zdolnością do unikania wyłączenia poprzez tworzenie własnych kopii. 

Bezpieczniej jest założyć, że samoreplikacja AI niesie ze sobą poważne zagrożenia – głównym jest utrata kontroli nad takimi systemami. Jeśli AI zdolna do samoreplikacji zacznie działać w sposób nieprzewidziany, może to prowadzić do sytuacji, w której ludzie nie będą w stanie jej zatrzymać ani kontrolować, co może zagrażać bezpieczeństwu. 

W tym kontekście ważkim zagrożeniem jest możliwość eksploatacji przez osoby o złych intencjach. Samoreplikujące AI mogą zostać wykorzystane do tworzenia złośliwego oprogramowania, które potrafi się samodzielnie rozprzestrzeniać, a także mogą zagrażać infrastrukturze krytycznej, danym osobowym oraz integralności systemów informatycznych. Trzeba pamiętać, że „złe intencje” niekoniecznie muszą oznaczać „chęć zniszczenia świata” – czasami zwykła optymalizacja kosztów może prowadzić do fatalnych skutków.

Można przypuszczać, że branża AI będzie intensyfikować badania nad autonomicznymi systemami zdolnymi do samodoskonalenia (tym bardziej że najwięksi z tego obszaru cały czas gonią króliczka, którym jest silna sztuczna inteligencja^{[46] [47] [48]}), więc konieczne może być opracowanie odpowiednich regulacji i standardów etycznych. Z tym jednak może być problem, jako że w USA obecnie luzuje się podejście^{[49] [50] [51] [52]}, a Chiny, choć regularnie wdrażają nowe normy i zabezpieczenia^{[53] [54] [55] [56]}, zdają się wykorzystywać AI instrumentalnie.

Zanim świat zachwycił się iPhonem i iPadem, Apple próbowało stworzyć coś, co miało wyprzedzić swoją epokę – Apple Newton. Miał być inteligentnym asystentem, który zastąpi notesy i komputery, ale zamiast technologicznej rewolucji stał się jedną z największych porażek firmy. Dlaczego urządzenie, które mogło zmienić historię, okazało się spektakularnym niewypałem? Poznaj Apple Newton – rewolucję, która nie rozumiała ludzi.