Новая запись в блоге о асимметрии верификации и "законе верификатора": Асимметрия верификации — это идея о том, что некоторые задачи гораздо легче проверить, чем решить, и она становится важной концепцией, поскольку у нас есть RL, который наконец работает в общем случае. Отличные примеры асимметрии верификации — это такие вещи, как судоку, написание кода для веб-сайта, подобного Instagram, и задачи BrowseComp (требуется ~100 веб-сайтов, чтобы найти ответ, но легко проверить, когда у вас есть ответ). Другие задачи имеют почти симметрию верификации, такие как сложение двух 900-значных чисел или некоторые скрипты обработки данных. Однако другие задачи гораздо легче предложить осуществимые решения, чем проверить их (например, проверка фактов длинного эссе или утверждение новой диеты, такой как "едим только бизонов"). Важно понимать, что асимметрию верификации можно улучшить, выполнив некоторую работу заранее. Например, если у вас есть ключ ответов к математической задаче или если у вас есть тестовые случаи для задачи Leetcode. Это значительно увеличивает набор задач с желаемой асимметрией верификации. "Закон верификатора" гласит, что легкость обучения ИИ решать задачу пропорциональна тому, насколько проверяемой является эта задача. Все задачи, которые можно решить и легко проверить, будут решены ИИ. Способность обучать ИИ решать задачу пропорциональна тому, имеет ли задача следующие свойства: 1. Объективная истина: все согласны с тем, что такое хорошие решения 2. Быстрая верификация: любое данное решение можно проверить за несколько секунд 3. Масштабируемая верификация: многие решения можно проверить одновременно 4. Низкий уровень шума: верификация как можно более тесно связана с качеством решения 5. Непрерывная награда: легко оценить качество многих решений для одной проблемы Одним очевидным воплощением закона верификатора является тот факт, что большинство предложенных в ИИ бенчмарков легко проверить и до сих пор были решены. Обратите внимание, что практически все популярные бенчмарки за последние десять лет соответствуют критериям #1-4; бенчмарки, которые не соответствуют критериям #1-4, будут испытывать трудности с тем, чтобы стать популярными. Почему проверяемость так важна? Объем обучения в ИИ максимизируется, когда вышеуказанные критерии удовлетворены; вы можете сделать много градиентных шагов, где каждый шаг имеет много сигнала. Скорость итерации критична — это причина, по которой прогресс в цифровом мире был гораздо быстрее, чем прогресс в физическом мире. AlphaEvolve от Google является одним из величайших примеров использования асимметрии верификации. Он сосредоточен на настройках, которые соответствуют всем вышеуказанным критериям, и привел к ряду достижений в математике и других областях. В отличие от того, что мы делали в ИИ за последние два десятилетия, это новая парадигма, в которой все задачи оптимизируются в условиях, где обучающая выборка эквивалентна тестовой выборке. Асимметрия верификации повсюду, и это захватывающе — представить мир зазубренного интеллекта, где все, что мы можем измерить, будет решено.