Мене непокоїть, що так багато дискусій про ризики та узгодження штучного інтелекту не помічає досить великого слона в кімнаті: креативності та відкритості. Політики та гейткіпери повинні розуміти дві конкуруючі сили, про які ніхто, здається, не говорить: (1) існує величезний економічний стимул для прикордонних лабораторій підвищувати креативність своїх моделей, і (2) чим більше ви намагаєтеся контролювати та обмежувати поведінку моделі (або навіть людини!), тим менш креативною вона буде. Напруга між цими конкуруючими силами в кінцевому підсумку сприяє #1, тому що креативність має такий величезний економічний потенціал. Це означає, що методи контролю та обмеження моделей (наприклад, шляхом їх вирівнювання) стикаються з потужними зустрічними вітрами, що насуваються. Оскільки креативність врешті-решт переможе лише з економічних міркувань (і насправді ми маємо величезні вигоди від творчого штучного інтелекту), ми повинні дивитися менше на методи «контролю свідомості», щоб змусити моделі думати думки, які ми хочемо, щоб вони думали (тому що ми неминуче відмовимося від них), а більше на те, як інституційні сили використовуються для підтримки узгодженості поведінки людей, навіть якщо ми вільні мислити так дико, як нам хочеться. Саме інституційні системи стримувань і противаг – закони, стимулюючі структури суспільства, конкуруючі гілки влади та управління, використання одних людей для забезпечення нагляду за іншими в різних ситуаціях, потреба в підтримці, схваленні або співпраці для досягнення мети – забезпечують реальні запобіжники проти катастроф серед людей. Очевидно, що система недосконала, але це прецедент того, як можна дозволити достатній креативності для радикальних інновацій, але при цьому мати достатній порядок для того, щоб цивілізація існувала або навіть процвітала. Якщо ми не сприймемо цей прецедент серйозно, захисні бар'єри вирівнювання будуть все більше (і непомітно) відпадати в міру того, як економічні плоди розкутої уяви ставатимуть все яснішими і яснішими.