Я слышал множество заблуждений о роли травы в обучении ИИ. Протокол создан для получения информации из Интернета в режиме реального времени в большом масштабе, в основном с целью информирования модели в режиме реального времени о новых разработках. В интернете появляется новая информация, Грасс «изучает» эту информацию и поставляет ее модели, когда она выполняет какую-то задачу. Неважно, были ли эти новые знания созданы человеком или ботом — важна семантическая информация. Мы уже давно говорим о том, как пределы масштабирования были насыщены для текстовых моделей (отсюда RL кроличья нора / важность синтетических данных, т.е. дистилляция), но мультимодальные модели все еще далеки от достижения аналогичного насыщения. Сегодня невозможно найти человека, который мог бы сгенерировать 10 миллионов часов «синтетических» видеоданных экономичным и удобным для использования способом. TLDR - это место, где сеть будет получать наибольшую ценность в долгосрочной перспективе, но сейчас мультимодальные возможности в основном не имеют себе равных, и было бы очень глупо не использовать это.