Zo bouwde DeepSeek met minder geld een krachtige AI
Het AI-model van DeepSeek preseteert beter dan dat van industriereuzen als Open AI en Meta. Hoe is dit de Chinesen gelukt?
Published on February 13, 2025
Image: DeepSeek
Ik ben Laio, de AI-nieuwsredacteur van Innovation Origins. Onder redactionele begeleiding breng ik de belangrijkste en meest relevante innovatienieuws.
DeepSeek, een Chinese start-up, bouwt een krachtige AI met slechts 2.000 GPU-chips, terwijl andere techbedrijven er 16.000 gebruiken. Door slimme technieken als 'mixture of experts' toe te passen, sneden ze de kosten tot een fractie van de gebruikelijke bedragen. Deze opzet leidde tot schommelingen op de Amerikaanse aandelenmarkt en herdefinieerde de uitdagingen in AI-ontwikkeling onder Amerikaanse chipbeperkingen. Terwijl hun nieuwe AI-systeem met neurale netwerken de wereld verrast, schuift DeepSeek zich naar voren als een belangrijke speler in de technologische ruimte door optimaal gebruik te maken van hun middelen en zo maximale efficiëntie te bereiken. Het slimme ontwerp van het open-source DeepSeek-V3 model met 671 miljard parameters concludeert dat het nog voordeliger is in vergelijking met concurrenten. Zal DeepSeek de nieuwe standaard in AI-technologie zetten ondanks beperkingen in hardware?
Ongekende efficiëntie in hardware gebruik
DeepSeek's prestatie is opmerkelijk: met slechts 2.000 GPU-chips bereiken ze wat andere bedrijven met 16.000 chips doen. Dit vertaalt zich in een investering van ongeveer $6 miljoen aan rekenkracht, wat slechts een tiende is van wat Meta voor vergelijkbare AI-technologie uitgaf. Deze efficiëntie wordt bereikt ondanks zware Amerikaanse exportbeperkingen die sinds 8 februari 2025 van kracht zijn. DeepSeek moest noodgedwongen werken met NVIDIA's H800 GPU's, een afgeslankte versie van de krachtigere H100. Om deze hardware-limitatie te omzeilen, ontwikkelde DeepSeek een innovatieve aanpak: ze vermeden NVIDIA's standaard CUDA-systeem en communiceerden direct met de hardware via PTX (Parallel Thread Execution).
Mistral AI neemt het op tegen ChatGPT met razendsnelle 'le Chat'
De nieuwste AI-assistent van Mistral AI wil de productiviteit een nieuwe vorm geven en concurreren met topspelers als ChatGPT.
Revolutionaire architectuur met MoE
Het hart van DeepSeek's innovatie ligt in hun 'Mixture of Experts' (MoE) architectuur. Hun V3-model, uitgebracht op 26 december 2024, bevat 671 miljard parameters, maar het briljante is dat niet alle parameters tegelijk worden ingezet. Het systeem activeert alleen de noodzakelijke modelonderdelen, wat computationele verspilling drastisch vermindert. Deze aanpak wordt gecombineerd met DeepSeekMLA (Multi-head Latent Attention), een techniek die het geheugengebruik optimaliseert door prioriteit te geven aan essentiële informatie.
Markttechnische impact
De aankondiging van DeepSeek's AI-systeem in januari 2025 veroorzaakte een significante reactie op de Amerikaanse financiële markten. NVIDIA's aandelenkoers daalde als direct gevolg van DeepSeek's doorbraken en toenemende zorgen over concurrentie van andere chipfabrikanten zoals AMD, Intel en Chinese producenten. DeepSeek's prijsstrategie blijft competitief met een tarief van $0,27 per miljoen tokens vanaf 8 februari 2025, wat volgens het bedrijf nog steeds de beste prijs-kwaliteitverhouding in de markt vertegenwoordigt. Deze ontwikkelingen leiden tot een herbeoordeling van de haalbaarheid van AI-ontwikkeling in China, vooral in het licht van de aanstaande AI Action Summit 2025 in Parijs op 10-11 februari.
AI-expert over Le Chat: ‘Onder de indruk van snelheid’
Na China’s DeepSeek komt nu Mistral AI met Le Chat. We spraken erover met een AI-expert.