Ich höre viele Missverständnisse über die Rolle von Gras beim KI-Training. Das Protokoll wurde entwickelt, um Echtzeitwissen in großem Maßstab aus dem Internet abzurufen, hauptsächlich um ein Modell in Echtzeit über neue Entwicklungen zu informieren. Neue Informationen erscheinen im Internet, Grass "lernt" diese Informationen und stellt sie dem Modell zur Verfügung, während es eine Aufgabe ausführt. Es spielt keine Rolle, ob dieses neue Wissen von einem Menschen oder einem Bot erstellt wurde - es sind die semantischen Informationen, die zählen. Wir sprechen schon lange darüber, wie die Skalierungsgrenzen für textbasierte Modelle übersättigt sind (daher der RL-Kaninchenbau / die Bedeutung synthetischer Daten, d. h. die Destillation), aber multimodale Modelle sind immer noch weit davon entfernt, eine ähnliche Sättigung zu erreichen. Heute kann man niemanden finden, der 10 Millionen Stunden "synthetische" Videodaten auf wirtschaftliche und nutzbare Weise generieren kann. TLDR - Echtzeit ist der Ort, an dem das Netzwerk langfristig den größten Wert erzielt, aber im Moment sind die multimodalen Fähigkeiten meist unübertroffen und es wäre sehr dumm, dies nicht zu nutzen.