Oletko kiinnostunut OpenAI:n uusien gpt-oss-mallien koulutusdatasta? Minäkin olin.
joten loin 10 miljoonaa esimerkkiä gpt-oss-20b:stä, suoritin analyysin, ja tulokset olivat... aika outoa
Aika sukeltaa 🧵 syvälle
Tässä on kartta upotetuista sukupolvista
Malli rakastaa matematiikkaa ja koodia. Kysyn ilman mitään ja silti se aina järkeilee. se puhuu vain matematiikasta ja koodista, ja enimmäkseen englanniksi
matematiikka – todennäköisyys, ML, PDE:t, topologia, ero
Koodi – agenttiset ohjelmistot, kilpaileva ohjelmointi, datatiede
Ensimmäinen asia, joka on huomattava, on, että käytännössä mikään sukupolvista ei muistuta luonnollista verkkotekstiä. Mutta yllättäen mikään niistä ei myöskään näytä tavalliselta chatbot-vuorovaikutukselta
tämä asia on selvästi koulutettu RL:n kautta ajattelemaan ja ratkaisemaan tehtäviä tietyille päättelyn vertailuarvoille. ei mitään muuta.
Ja se on todella kidutettu malli. Tässä malli näkee hallusinaatio-ongelman dominoista ja yrittää ratkaista sen kuluttaen prosessiin yli 30 000 tokenia
Täysin oma-aloitteisesti malli loi ja yritti ratkaista tämän domino-ongelman yli 5 000 kertaa
Suoritin luokittelun tulosteiden yli saadakseen käsityksen siitä, mitkä ohjelmointikielet GPT-OSS osaa
He näyttävät harjoitelleen lähes kaikkea, mistä olet koskaan kuullut. erityisesti paljon Perliä
(btw, analyysini mukaan Javan ja Kotlinin pitäisi olla paljon korkeammalla. luokittelu on saattanut mennä pieleen)
kartalta ei näe, että monet ketjut alkavat englanniksi, mutta laskeutuvat hitaasti neuralesiin
päättelyketjut vuorottelevat iloisesti arabian, venäjän, thaimaan, korean, kiinan ja ukrainan välillä. sitten yleensä palaavat englannin kieleen (mutta eivät aina)
OCR-olettamuksen:
joitakin esimerkkejä ovat artefaktit, kuten OCRV ROOT, jotka osoittavat, että koulutustiedot ovat saattaneet olla
lukeminen rivien välistä: OpenAI skannaa kirjoja
(jostain syystä malli rakastaa mainita, kuinka monta kuuroa Malesiassa asuu)
Mitkä ovat selityksiä jatkuvalle koodinvaihdolle?
1. OpenAI on selvittänyt RL:n. Mallit eivät enää puhu englantia
2. tietojen vioittumiseen liittyvät ongelmat OCR:n tai synteettisen koulutuksen avulla
3. Jotenkin pakotin mallin tuottamaan liikaa tokeneita ja ne siirtyvät vähitellen pois jakelusta
Luovia tuotoksia on pieni määrä
Tässä on yksi esimerkki, jossa malli alkaa kirjoittaa luonnosta norjalaiseen käsikirjoitukseen 🤷 ♂️
Opin myös paljon tästä.
Malli on *todella* hyvä käyttämään Unicodea
... mutta saattaa olla huono fysiikassa. Mikä ihme on "superhalo-funktio"
Jos haluat kokeilla dataa, se on Huggingfacessa:
Kerro minulle, mitä löydät!
TULEVA TYÖ – duplikointi
Vaikka vaihtelin satunnaista siementä ja käytettyä lämpötilaa, monet lähdöt ovat erittäin tarpeettomia
Olisi järkevää poistaa deduplikaatiot, lyön vetoa, että täällä on vain 100 tuhatta tai vähemmän enimmäkseen ainutlaatuisia esimerkkejä
TULEVAISUUDEN TYÖ – erojen kuvaaminen
@ZhongRuiqi on tehnyt uskomatonta työtä menetelmien parissa, joilla kuvataan kahden tekstijakauman eroa *luonnollisella kielellä*
voisimme verrata 20b:n lähtöjä 120b-malliin, LLAMA:han tai GPT-5:een...
TULEVAISUUDEN TYÖ – suora poisto
pyrimme poimimaan koulutustietoja suoraan malleista RL:n ja muiden menetelmien avulla. esittelemme ensimmäisen työmme tästä COLMissa, ja odotamme lisää tässä tilassa
Saatamme pystyä poimimaan tietoja suoraan 120b-mallista. eräänä päivänä 😎
147,76 t.
1,57 t.
Tällä sivulla näytettävä sisältö on kolmansien osapuolten tarjoamaa. Ellei toisin mainita, OKX ei ole lainatun artikkelin / lainattujen artikkelien kirjoittaja, eikä OKX väitä olevansa materiaalin tekijänoikeuksien haltija. Sisältö on tarkoitettu vain tiedoksi, eikä se edusta OKX:n näkemyksiä. Sitä ei ole tarkoitettu minkäänlaiseksi suositukseksi, eikä sitä tule pitää sijoitusneuvontana tai kehotuksena ostaa tai myydä digitaalisia varoja. Siltä osin kuin yhteenvetojen tai muiden tietojen tuottamiseen käytetään generatiivista tekoälyä, tällainen tekoälyn tuottama sisältö voi olla epätarkkaa tai epäjohdonmukaista. Lue aiheesta lisätietoa linkitetystä artikkelista. OKX ei ole vastuussa kolmansien osapuolten sivustojen sisällöstä. Digitaalisten varojen, kuten vakaakolikoiden ja NFT:iden, omistukseen liittyy suuri riski, ja niiden arvo voi vaihdella merkittävästi. Sinun tulee huolellisesti harkita, sopiiko digitaalisten varojen treidaus tai omistus sinulle taloudellisessa tilanteessasi.