$LA Lagrange tekee nykyään paljon outoja asioita Tiedätkö, että Gemma 3 ilmestyi Googlessa... Gemma3 on Googlen luoma seuraavan sukupolven tekoälymalli. Älykkäämpi pienemmillä parametreilla (laskennalliset yksiköt, kuten aivosolut) Se on myös nopea ja tarkka, mikä eroaa melko paljon nykyisestä GPT-rakenteesta. esimerkiksi - Ryhmitelty kyselyhuomio (GQA): Menetelmä saman ongelman ratkaisemiseksi useita kertoja ja vastauksen jakamiseksi -> Laskennallinen tehokkuus↑ - Paikallinen+globaali huomio: Keskity läheisiin sanoihin jakamalla ne paikallisiin ja kaukaisiin sanoihin globaaleiksi. -> Tarpeettomat laskelmat↓ - Pyörivä sijaintikoodaus (RoPE): Esittää sanajärjestyksen yksinkertaisina kiertoarvoina monimutkaisten matriisien sijaan -> pitkän kontekstin käsittelyn tehokkuus↑ - RMSNorm, GeGLU: Aivojen ajatusten järjestämisen ja reagointien sääntöjen muuttaminen -> Vakaus ja tarkkuus↑ Mutta kun rakenne muuttuu näin, "Laskiko tämä malli todella oikein?" Todistaminen on paljon vaikeampaa...
Näytä alkuperäinen
4,61 t.
45
Tällä sivulla näytettävä sisältö on kolmansien osapuolten tarjoamaa. Ellei toisin mainita, OKX ei ole lainatun artikkelin / lainattujen artikkelien kirjoittaja, eikä OKX väitä olevansa materiaalin tekijänoikeuksien haltija. Sisältö on tarkoitettu vain tiedoksi, eikä se edusta OKX:n näkemyksiä. Sitä ei ole tarkoitettu minkäänlaiseksi suositukseksi, eikä sitä tule pitää sijoitusneuvontana tai kehotuksena ostaa tai myydä digitaalisia varoja. Siltä osin kuin yhteenvetojen tai muiden tietojen tuottamiseen käytetään generatiivista tekoälyä, tällainen tekoälyn tuottama sisältö voi olla epätarkkaa tai epäjohdonmukaista. Lue aiheesta lisätietoa linkitetystä artikkelista. OKX ei ole vastuussa kolmansien osapuolten sivustojen sisällöstä. Digitaalisten varojen, kuten vakaakolikoiden ja NFT:iden, omistukseen liittyy suuri riski, ja niiden arvo voi vaihdella merkittävästi. Sinun tulee huolellisesti harkita, sopiiko digitaalisten varojen treidaus tai omistus sinulle taloudellisessa tilanteessasi.