In Breve
- Cosa è ZML LLMD?
- ZML LLMD è un server di inferenza progettato per eseguire modelli di linguaggio su vari chip.
- Qual è l'obiettivo di ZML LLMD?
- L'obiettivo è migliorare l'efficienza energetica e la flessibilità nell'uso di chip diversi.
- Chi ha fondato ZML?
- ZML è stata fondata da Steeve Morin, ex VP of Engineering di Zenly.
La startup francese ZML ha recentemente lanciato LLMD, un innovativo server di inferenza progettato per eseguire modelli di linguaggio open source su una vasta gamma di chip, tra cui Nvidia, AMD, Google TPU, Apple Metal e Intel Arc. Questo prodotto, reso disponibile gratuitamente al lancio ma non open source, si propone di superare i vincoli software e architetturali che spesso limitano le scelte degli utenti, permettendo di sfruttare al massimo le prestazioni disponibili su hardware eterogeneo.
Il fondatore di ZML, Steeve Morin, ha dichiarato: «L’idea è restituire alle persone il potere di creare il proprio sistema e ottenere reali guadagni di efficienza che permettano la diffusione dell’IA». LLMD mira a offrire a imprese e operatori cloud la possibilità di utilizzare una combinazione di chip, compresi quelli meno costosi o più efficienti dal punto di vista energetico, per ottimizzare le prestazioni e promuovere l’adozione dell’intelligenza artificiale.
ZML ha inoltre espresso l’intenzione di collaborare con nuovi produttori di chip, molti dei quali europei, citando nomi come Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud e VSORA. Morin ha aggiunto che l’azienda sta lavorando su soluzioni non ancora sviluppate altrove: «Siamo arrivati al punto in cui stiamo co-progettando il silicio».
Il lancio di LLMD avviene in un mercato altamente competitivo, con operatori come Baseten, Inferact e RadixArk, oltre a progetti open source come vLLM e SGLang che offrono funzionalità simili. Nonostante ciò, ZML mantiene rapporti con Nvidia, un attore chiave nel settore.
Con sede a Parigi e un team di circa 20 persone, ZML ha raccolto 20 milioni di dollari da investitori come 20VC, commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe e Puzzle Ventures. Morin, che in precedenza ha ricoperto il ruolo di VP of Engineering di Zenly, acquisita da Snapchat nel 2017, ha sottolineato l’importanza del rilascio gratuito di LLMD per misurare l’utilizzo prima di stabilire eventuali politiche commerciali: «Preferisco misurare e poi generare ricavi dove è più efficace, senza ostacolare stupidamente la crescita perché sono stato troppo avido fin dall’inizio».
Tra i sostenitori di ZML figurano nomi di spicco come Solomon Hykes, Clément Delangue, Julien Chaumond e Yann LeCun, a dimostrazione dell’interesse crescente verso l’ecosistema tecnologico europeo. Morin ha concluso affermando che non avrebbe potuto realizzare ZML se non fosse stato per il supporto ricevuto a Parigi.
