Koliko mogu da primetim, NVIDIA je bukvalno pokazala srednji prst igrackoj industriji... ja ne znam nekog a da ima pozitivno misljenje o cenovnoj politici vec duze vreme. Ja sam jurio FE 4090 zato sto je to jedina varijanta sa IOLE razumljivom zapreminom (a da nije water-cooled)... em sto je cena sumanuta, em sto si mesecima morao da cekas da uleti, ili da platis skalperima par stotina EUR ekstra.
Ali ako se pogleda sta se desava, to ne cudi uopste - AI bum cini da se NVIDIA-i daleko vise isplati fabrikacija HPC SKU-ova - kao sto su A100, H100 i sl.
H100 je 814 mm^2
AD102 je 608 mm^2
Jedna H100 PCIe kartica se valja za >$40K, SXM je nesto jeftiniji ali tu kupujes 8 ili 16 komada u kutiji + NVIDIA uzima sad i za softver licence ($8K po socketu na 5 godina).
Sa druge strane, AD102 mogu da uvale ili kao gejmerski 4090 - za $1.6K/EUR 1.9K - ili kao workstation grafiku za ~$7K/EUR 9K
Kako bukvalno sve sto naprave za HPC segment leti, ne cudi uopste da se fokusiraju na to. TSMC ima ogranicenu kolicinu wafer-a koji mogu da ispucaju... cime bi ih pre uposlio, sa cipovima koji idu u $40K kartice (koje lete) ili $1.6K kartice (koje isto idu, ali... ~20x manje si profitabilan na njima).
Cisto primer koliko je situacija nenormalna zbog AI-ja: skocile su cene i matorom hardveru. Pocetkom prosle godine si mogao da nadjes polovne V100 DGX/HGX kutije za relativno OK pare. Probaj sad, puno srece (bio je jedan na ebay-ju koji se oslobadjao vece kolicine istih za OK kintu - ali sa 16 GB SKU-ovima... ja gledam za ghetto LLM da pokupim 8x32GB ili idealno 16x32GB konfiguraciju sa kojom covek komotno moze da trci najvece dostupne modele "u memoriji", ali sad moz' zaboravis osim ako ti se ne placa par desetina hiljada $ za tehnologiju staru 5 godina).
A kako stvari stoje, ludilo ne prestaje niti se zna kad ce :-)
https://developer.nvidia.com/b...00-terabyte-gpu-memory-system/
Citat:
Announcing NVIDIA DGX GH200: The First 100 Terabyte GPU Memory System
Sledeca barijera su multi-modalni AI sistemi, koji ce kombinovati tekst kao danasnji LLM-ovi sa zvukom i slikom... Treniranje i trcanje takvih sistema ce zahtevati monstruozno mocan hardver, kao npr... ovo citirano :-)
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos:
http://www.digicortex.net/node/17 Gallery:
http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! -
https://github.com/psyq321/PowerMonkey