Jag oroar mig för att så mycket diskussioner om AI-risker och anpassning förbiser den ganska stora elefanten i rummet: kreativitet och öppenhet. Beslutsfattare och grindvakter måste förstå två konkurrerande krafter som ingen verkar prata om: (1) det finns ett massivt ekonomiskt incitament för Frontier Labs att öka kreativiteten i sina modeller, och (2) ju mer du försöker kontrollera och begränsa beteendet hos en modell (eller till och med en person!), desto mindre kreativt kommer det att vara. Spänningen mellan dessa konkurrerande krafter gynnar #1 i slutändan eftersom kreativitet har en så stor ekonomisk potential. Det innebär att metoder för att kontrollera och begränsa modeller (t.ex. genom att justera dem) står inför kraftfull hotande motvind. Eftersom kreativitet så småningom kommer att vinna enbart på ekonomiska grunder (och vi har faktiskt enorma fördelar att vinna på kreativ AI), bör vi titta mindre på metoder för "mind control" för att få modeller att tänka tankar vi vill att de ska tänka (eftersom vi oundvikligen kommer att överge dem), och mer på hur institutionella krafter har använts för att hålla människor i linje i beteende även om vi är fria att tänka så vilt vi vill. Det är de institutionella kontrollerna och motvikterna – lagarna, samhällets incitamentsstrukturer, konkurrerande grenar av regeringen och styrningen, utnyttjandet av vissa människor för att ge tillsyn över andra i olika situationer, behovet av acceptans, godkännande eller samarbete för att få saker gjorda – som utgör de verkliga skyddsräckena mot katastrofer bland människor. Uppenbarligen är systemet ofullkomligt, men det är ett prejudikat för hur man tillåter tillräckligt med kreativitet för att driva radikal innovation men ändå ha tillräckligt med ordning för att civilisationen ska bestå eller till och med frodas. Om vi inte tar detta prejudikat på allvar kommer anpassningens skyddsräcken i allt högre grad (och i tysthet) att falla av i takt med att de ekonomiska frukterna av ohämmad fantasi blir tydligare och tydligare.