Mă îngrijorează faptul că atât de multe discuții despre riscurile și alinierea AI trec cu vederea elefantul destul de mare din cameră: creativitatea și deschiderea. Factorii de decizie politică și gardienii trebuie să înțeleagă două forțe concurente despre care nimeni nu pare să vorbească: (1) există un stimulent economic masiv pentru laboratoarele de frontieră pentru a stimula creativitatea modelelor lor și (2) cu cât încerci mai mult să controlezi și să constrângi comportamentul unui model (sau chiar al unei persoane!), cu atât va fi mai puțin creativ. Tensiunea dintre aceste forțe concurente favorizează #1 în cele din urmă, deoarece creativitatea are un potențial economic atât de vast. Aceasta înseamnă că metodele de control și constrângere a modelelor (de exemplu, prin alinierea lor) se confruntă cu vânturi puternice care se profilează. Pentru că creativitatea va câștiga în cele din urmă doar din motive economice (și într-adevăr avem beneficii enorme de câștigat de pe urma inteligenței artificiale creative), ar trebui să ne uităm mai puțin la metode de "control al minții" pentru a transforma modelele în gânduri pe care vrem să le gândească (pentru că inevitabil le vom abandona) și mai mult la modul în care forțele instituționale au fost folosite pentru a menține oamenii aliniați în comportament, chiar dacă suntem liberi să gândim cât de sălbatic dorim. Verificările și echilibrele instituționale - legile, structurile de stimulare ale societății, ramurile concurente ale guvernului și guvernării, influența unor oameni pentru a asigura supravegherea asupra altora în situații diferite, nevoia de acceptare, aprobare sau colaborare pentru a face lucrurile - sunt cele care oferă adevăratele bariere de protecție împotriva dezastrelor în rândul oamenilor. Evident, sistemul este imperfect, dar este un precedent pentru a permite suficientă creativitate pentru a urmări inovația radicală, dar totuși să aibă suficientă ordine pentru ca civilizația să persiste sau chiar să prospere. Dacă nu luăm în serios acest precedent, barierele alinierii vor cădea din ce în ce mai mult (și în liniște) pe măsură ce roadele economice ale imaginației dezlănțuite devin din ce în ce mai clare.