$LA Лагранж в последнее время делает много интересного. Вы, наверное, слышали о Gemma3 от Google… Gemma3 — это следующая модель ИИ, созданная Google, которая работает умнее с меньшим количеством параметров (единицы вычислений, подобные нейронным клеткам). Скорость высокая, точность тоже, но она довольно отличается от существующей структуры GPT. Например: - GQA (Grouped Query Attention): вместо того, чтобы решать одну и ту же задачу несколько раз, ответы делятся. -> Эффективность вычислений↑ - Локальное + глобальное внимание: близкие слова обрабатываются локально, а удаленные — глобально. -> Избыток вычислений↓ - RoPE (Rotary Positional Encoding): порядок слов представляется простыми вращающимися значениями вместо сложных матриц. -> Эффективность обработки длинного контекста↑ - RMSNorm, GeGLU: изменены правила и способы реакции мозга на упорядочивание мыслей. -> Стабильность и точность↑ Но когда структура меняется таким образом, становится гораздо сложнее доказать, "правильно ли эта...
Показать оригинал
4,6 тыс.
45
Содержание этой страницы предоставляется третьими сторонами. OKX не является автором цитируемых статей и не имеет на них авторских прав, если не указано иное. Материалы предоставляются исключительно в информационных целях и не отражают мнения OKX. Материалы не являются инвестиционным советом и призывом к покупке или продаже цифровых активов. Раздел использует ИИ для создания обзоров и кратких содержаний предоставленных материалов. Обратите внимание, что информация, сгенерированная ИИ, может быть неточной и непоследовательной. Для получения полной информации изучите соответствующую оригинальную статью. OKX не несет ответственности за материалы, содержащиеся на сторонних сайтах. Цифровые активы, в том числе стейблкоины и NFT, подвержены высокому риску, а их стоимость может сильно колебаться. Перед торговлей и покупкой цифровых активов оцените ваше финансовое состояние и принимайте только взвешенные решения.