Jag hör massor av missuppfattningar om gräsets roll i AI-träning. Protokollet är byggt för att hämta realtidskunskap från webben i stor skala, främst i syfte att informera en modell i realtid om ny utveckling. Ny information dyker upp på internet, Grass "lär sig" denna information och förser modellen med den när den utför någon uppgift. Det spelar ingen roll om denna nya kunskap skapades av en människa eller en bot – det är den semantiska informationen som spelar roll. Vi har pratat länge nu om hur skalningsgränser har mättats för textbaserade modeller (därav RL-kaninhålet / betydelsen syntetisk data dvs destillation), men multimodala modeller är fortfarande långt långt ifrån att nå liknande mättnad. Idag kan du inte hitta någon som kan generera 10 miljoner timmar "syntetisk" videodata på ett ekonomiskt och användbart sätt. TLDR - Realtid är där nätverket kommer att ackumulera mest värde på lång sikt, men just nu är multimodala funktioner för det mesta oöverträffade och det skulle vara väldigt dumt att inte använda detta.