
#OpenAIInferenceCostTest
About OpenAIInferenceCostTest
OpenAI shared early tests of Jalapeño, its first in-house inference chip. It says it delivers 1.5x-1.9x more throughput per watt on open models and cuts end-to-end latency by 1.7x-3.6x. Deployment is planned by year-end, with two successors in development. It also says GPT-5.6 Sol used 54% fewer output tokens than a leading rival on coding tasks. After $6.7B in Q2 revenue and a $12.3B operating loss, can these company-tested gains lower inference costs, narrow losses and support its IPO valuatio
Suosittu
Viimeisin
OpenAIInferenceCostTest Suositut postaukset
#OpenAIQ2LossWidens
Nopeasti kasvavat yritykset eivät aina muutu suuriksi yrityksiksi.
OpenAI jatkaa kasvuaan, mutta myös tappiot kasvavat. Anthropic on kulkemassa toista polkua osoittamalla varhaisia merkkejä kannattavuudesta. Tulot voittavat otsikoita.
Kestävä taloustiede yleensä ratkaisee, kuka voittaa maratonin. Kumpi on sinulle nykyään tärkeämpää, kasvu vai kannattavuus?

JUURI SAAPUNUT: Anthropicin listautumismahdollisuudet SpaceX:n $SPCX yli 1,77 biljoonan dollarin arvostusnousun.

Kaikki Jalapeñon ympärillä oleva huomio näyttää keskittyvän suorituskykyyn verrattuna Nvidiaan, mutta sen insinöörinopeus on todella merkittävä. Joidenkin kohokohtia @hotchipsorg puheesta:
1. Räätälöityjen piirien rakentaminen, jotka ennen vaativat valtavia insinöörijoukkoja ja monivuotisia aikatauluja. OpenAI siirtyi alkuperäisestä RTL-koodista tapeoutiin vain 9 kuukaudessa käyttäen XLS:ää (Googlen Rust-tyyppinen kieli kotiin) ja tekoälypohjaista yhteissuunnittelua.
2. Tekoälysilmukka otti raakan, tuskin toimivan (DeepSeek) ytimen, joka toimi 0,31 % tehokkuudella, ja optimoi sen itsenäisesti 88,94 %:iin piirin fyysisestä rajasta alle kahdessa päivässä.
3. Tekoälyn tuottama koodi toimi jopa 1,8 kertaa nopeammin kriittisillä lohkoilla kuin maailmanluokan ydininsinöörien käsin virittämät toteutukset.
4. Tekoäly teki muutakin kuin vain kirjoitti ohjelmistoja sirulle. Se optimoi fyysiset laitteistopiirit ennen teipin poistoa.
Tämä ei ole nollasumma tai nettonegatiivinen Nvidialle. Mukautetut ASIC:t avaavat järjettömän tehokkuuden erikoistuneille työkuormille ja laajentavat koko alan laskentapiirakkaa.
Siitä lähtien kun julkistimme Jalapeñon, ensimmäisen räätälöidyn päättelypiirimme, olemme testanneet sitä ja sen ympärillä olevaa järjestelmää.
Tulokset osoittavat merkittävän edistysaskeleen: jokaisesta watista lisää älykkyyttä ja nopeampia vasteita, jotka tarjoavat sekä suuremman läpimenon että pienemmän viiveen yhdessä arkkitehtuurissa tinkimättä tehokkuudesta.

OpenAI sanoo, että sen uusi Jalapeño-tekoälypiiri voisi merkittävästi alentaa tekoälyn käyttökustannuksia, mutta Jim Cramer (@jimcramer) on edelleen skeptinen sen aiheuttavan vakavan uhan Nvidialle ($NVDA).
Jalapeño on OpenAI:n ensimmäinen räätälöity päättelypiiri, joka on kehitetty Broadcomin ($AVGO) kanssa. Yritys aikoo aloittaa sen sisäisen käyttöönoton vuoden 2026 loppuun mennessä, ja tuotannon odotetaan kiihtyvän entisestään vuonna 2027.
OpenAI:n toimitusjohtaja Sam Altman (@sama) kuvaili piiriä yksinkertaisesti sanomalla: "Me teimme sirun ja se on nopea." Yritys työskentelee jo toisen ja kolmannen sukupolven versioiden parissa.
OpenAI kertoo, että Jalapeño pystyy tarjoamaan sekä suuremman läpimenon että pienemmän viiveen, mikä on vaikea yhdistelmä. Sen sisäiset testit osoittivat parempaa suorituskykyä wattia kohden kuin Nvidian GB200- ja GB300-järjestelmät useissa suurissa tekoälymalleissa.
Työmäärästä riippuen OpenAI väittää, että Jalapeño tuotti noin 1,5–1,9x enemmän suorituskykyä wattia kohden ja merkittävästi pienemmän viiveen. Siru on suunniteltu nimenomaan päättelyyn, ei tekoälyn koulutukseen.
OpenAI:n laitteistojohtaja Richard Ho sanoi, että nämä tehokkuuden parannukset voivat lopulta johtaa asiakkaiden alhaisempiin tokenien hintoihin, kun siru skaalautuu tuotantoon.
Silti OpenAI ei aio korvata Nvidiaa kokonaan. Yritys kertoi jatkavansa Nvidia-kiihdyttimien ja muiden kumppaneiden laitteistojen käyttöä sekä koulutukseen että päättelyyn.
Cramer hylkäsi ajatuksen, että jokainen uusi tekoälysiru edustaisi merkittävää Nvidian haastajaa. Hän sanoi kuulevansa säännöllisesti väitteitä paremmista siruista, mutta näkevänsä edelleen "ei todellisia kilpailijoita" Nvidian kanssa laajassa mittakaavassa.


OpenAI:n Jalapeno on merkki siitä, että tekoälyteollisuus on siirtymässä "omista pino" -aikakauteen.
Pelikirja oli ennen pysyä omalla kaistallasi ja keskittyä.
Malliyritykset kouluttivat malleja. Siruyritykset valmistivat sipsiä. Datayritykset keräsivät dataa.
Se aikakausi on ohi.
OpenAI sai alkunsa puhtaana mallilaboratoriona. Nyt he suunnittelevat räätälöityä piitä ja optimoivat koko järjestelmät oikeiden työkuormiensa mukaan.
Tällä viikolla näimme myös @Figure_robot:n siirtyvän datakerrokseen ja lanseeraamaan Indexin, oman tiedonkeruuhankkeensa, joka kattaa 108 maata.
Kaikki liikkuvat pinossa ylös ja alas.
Osa on todennäköisesti ohuiden vallihautojen syventämistä, osa kustannusten leikkaamista ja osa arvostusten oikeuttamista.

OpenAI rakensi räätälöidyn päättelypiirin (Jalapeño) ja siirtyi ensimmäisestä RTL:stä tapeoutiin yhdeksässä kuukaudessa.
Kun suunnittelin ja teippasin monimutkaisia SoC-kortteja, 18–24 kuukautta RTL:stä tapeoutiin oli normaalia. Varmennus ja fyysinen suunnittelu veivät suurimman osan tästä aikataulusta.
Tekoälyn kirjoittaminen Verilog/VHDL:ssä on aika odotettua kaikkien koodausagenttien kanssa. Vaikuttavaa oli... @OpenAI tiimi käytti sisäistä mallia, jossa oli nopea QoR-palaute ja vahva varmennus RTL:n optimoimiseksi
Tekoäly todella tiivistää suunnittelusykliä.. Hyvä kaikille. Näkisimme enemmän piitä ja enemmän innovaatioita. Nyt erottelu siirtyy TSMC:n kapasiteetin ja HBM:n allokoinnin varmistamiseen..
Lisää siruja voidaan suunnitella.. mutta harvempia voidaan tuottaa suuressa mittakaavassa.



OpenAI ottaa vakavasti koko tekoälypinon omistamisen
Jalapeño siirtyy vihdoin testauksesta OpenAI:n infrastruktuuriin
> lisää tekoälyä jokaisesta watista
> suurempi läpimenokyky ja pienempi viive
> nopeammat ChatGPT- ja Codex-vastaukset
tämä on vasta Gen 1, Gen 2 on jo kehitteillä, kun taas Gen 3 on muotoutumassa.
OpenAI:lla on jo mallit, käyttäjät ja kysyntä.
Nyt se rakentaa myös laskentaa niiden alle.
todellinen kysymys on, kuinka pitkälle tämä menee, kun Jalapeño alkaa laajentaa infrastruktuuriaan.
Miltä luulet Gen 2:n näyttävän?


Siitä lähtien kun julkistimme Jalapeñon, ensimmäisen räätälöidyn päättelypiirimme, olemme testanneet sitä ja sen ympärillä olevaa järjestelmää.
Tulokset osoittavat merkittävän edistysaskeleen: jokaisesta watista lisää älykkyyttä ja nopeampia vasteita, jotka tarjoavat sekä suuremman läpimenon että pienemmän viiveen yhdessä arkkitehtuurissa tinkimättä tehokkuudesta.
OpenAI:n varhaiset Jalapeño-testit viittaavat mahdollisesti merkittävään muutokseen päättelytaloudessa: 1,5x–1,9x suurempi läpimenokyky per watti ja 1,7x-3,6x pienempi viive päästä päähän -viiveellä avoimissa malleissa. GPT-5.6 Sol käytti myös raporttien mukaan 54 % vähemmän output tokeneita kuin johtava kilpailija koodaustehtävissä.
Arvioitu arvio on, että tehokkuusparannukset voisivat parantaa yksikkötaloutta, mutta yritysten testaamat vertailuarvot eivät vielä todista alemmista kokonaiskustannuksista. Toisen neljänneksen liikevaihdon ollessa 6,7 miljardia dollaria ja 12,3 miljardin dollarin toimintatappiota, laajamittainen käyttöönotto ja työkuorman kasvu tulevat olemaan tärkeämpiä kuin kokonaisten suorituskyky. Ei neuvoja, vaan pelkkää analyysiä.
#OpenAIInferenceCostTest

OpenAI:n ensimmäinen räätälöity päättelypiiri tarjoaa suuremman läpimenon, pienemmän viiveen ja paremman tehokkuuden yhdessä arkkitehtuurissa.
Kun suurin tekoälylaboratorio alkaa suunnitella omaa piiään, päättelytalous laajassa mittakaavassa kohtaa ongelman.
Laskentakerrosta rakennetaan uudelleen alusta alkaen.
Siitä lähtien kun julkistimme Jalapeñon, ensimmäisen räätälöidyn päättelypiirimme, olemme testanneet sitä ja sen ympärillä olevaa järjestelmää.
Tulokset osoittavat merkittävän edistysaskeleen: jokaisesta watista lisää älykkyyttä ja nopeampia vasteita, jotka tarjoavat sekä suuremman läpimenon että pienemmän viiveen yhdessä arkkitehtuurissa tinkimättä tehokkuudesta.


