Naukowcy z Carnegie Mellon stworzyli symulację opartą na „dylemacie więźnia”, od lat znanym modelu teorii gier. Wirtualne boty żyły w wyimaginowanym społeczeństwie i komunikowały się ze sobą. Mogły albo ze sobą współpracować, albo oszukiwać. Współpraca dawała korzyść obu stronom, jednak jeśli któremuś agentowi udało się oszukać oponenta – zyskiwał zdecydowanie więcej. Najbardziej skuteczne jednostki kopiowano i przechodziły do kolejnej tury. Wprowadzono też niewielką możliwość pomyłki.
Boty otrzymywały nagrodę jeśli współpracowały oraz jeśli udawało im się oszukać przeciwnika (fot. Nicky Case)
Model ma zastosowanie w codziennym życiu. Podobnie zachowują się ludzie, kiedy stają przed dylematem, czy chcą przystąpić do strajku, wziąć udział w zmowie cenowej, albo zaangażować się w pracę nad różnymi projektami. Wirtualne maszyny stawały przed podobnymi dylematami.
Badacze spodziewali się zaobserwować najlepszą strategię: wet za wet. Polega ona na kopiowaniu zachowań przeciwnika. Jeśli ktoś traktuje Cię dobrze – odwdzięcz się. Jeśli ktoś Cię oszuka – oszukaj i jego. Ten sposób zachowania faktycznie dominował w wirtualnej społeczności botów. Jednak po kilkuset generacjach, ku zaskoczeniu naukowców, maszyny przestawały współpracować i zaczynały toczyć między sobą cykliczne wojny .
Po kilkuset turach pojawiał się zaznaczony na zielono czas pokoju, a zaraz potem wyniszczające wojny –
żółty kolor (fot. Simon Dedeo)
Okazało się, że Sztuczna Inteligencja rozpoznawała swoje własne idealne kopie, traktując każde odstępstwo jako przyczynek do ataku. W ten sposób SI wynalazła „botobójstwo” i wyniszczającą wojnę, w której ginęły również te maszyny, które stosowały najbardziej optymalną strategię „wet za wet”. Po tym okresie pozostawało kilka maszyn, które zaczynały ze sobą współpracować przez kolejne kilkaset pokoleń, aż w końcu losowe błędy osiągały poziom krytyczny co znowu doprowadzało do wszczęcia bratobójczych walk.
Boty wypracowywały różne strategie, z których najbardziej efektywna była „wet za wet” (fot. Nicky Case)
Strategia stosowana przez Sztuczną Inteligencję przypomina zachowanie ludzi znane chociażby ze „Starego Testamentu”:
Następnie Gileadczycy odcięli Efraimitom drogę do brodów Jordanu, a gdy zbiegowie z Efraima mówili: „Pozwól mi przejść”, Gileadczycy zadawali pytanie: „Czy jesteś Efraimitą?” – A kiedy odpowiadał: „Nie”, wówczas nakazywali mu: „Wymówże więc Szibbolet”. Jeśli rzekł: „Sibbolet” – a inaczej nie mógł wymówić – chwytali go i zabijali u brodu Jordanu. Tak zginęło przy tej sposobności czterdzieści dwa tysiące Efraimitów.
(„Księga Sędziów”; „Biblia Tysiąclecia”):
W wielu konfliktach zbrojnych to zachowanie wielokrotnie się powtarzało. Podczas wojny domowej w Finlandii w 1918 roku, Finowie rozpoznawali rosyjskich szpiegów przez to, że nie potrafili wymówić słowa „yksi”, co oznaczało „jeden”. Ten sposób rozpoznawania wrogów wypracowała sobie również Sztuczna Inteligencja w wirtualnym świecie, czego efekty nie prowadzą do pozytywnych wniosków.
Źródło: chip.pl/2017/09/si-wynalazla-ludobojstwo-wojne/
chociaż możliwe, że ktoś wpadł na coś podobnego.
SI nie musi być w pełni samo myśląca, aby być inteligentniejsza od człowieka. Wystarczy jej kilka algorytmów które pozwolą jej osiągnąć kryteria zagrażające rasie ludzkiej. Dla przykładu podpięcie zmodyfikowanego programu odpowiedzialnego za grę w szachy do silosów rakietowych USA. Jak myślicie? W które miasta program posłałby rakiety? A może w morze? Albo rozbroiłby je? Mówiąc sztuczna inteligencja za bardzo przyzwyczailiśmy się do kinowych wersji w stylu "I'm" a SI w cale nie musi rozumieć swojego istnienia, ale za to może mieć zaprogramowany cel "Tylko zwycięstwo", kto wie jakie błędy mogą z tego wyniknąć które nie byłyby pod kontrolą człowieka.