Intervista Pythonista
Servire AI: inferenza, router semantici e SLM. #82
39:24
Eugenio Petullà, Chief AI Alchemist di Regolo.ai (provider di inferenza EU-based del gruppo Seeweb/DHH), racconta cosa significa davvero servire modelli su larga scala — dall'architettura di inferenza (K8S, vLLM, proxy, gestione utenti) alle sfide di sovranità tecnologica europea. Si parla anche di Small Language Models, router semantici e paper di ricerca su valutazione empirica e capacità dei…