Klartext KI
#81 Mit lokaler KI zu besserer Leistung
1:04:18
In dieser Folge sprechen Matúš, Alwine und Sebastian Holter darüber, wie sich große Sprachmodelle mit überschaubarem Budget lokal betreiben lassen... und warum eine kluge Architektur oft wichtiger ist als maximale Rechenleistung.
Ausgangspunkt ist Sebastians Homelab: eine gebrauchte Lenovo-Workstation, 512 Gigabyte Arbeitsspeicher und ein großes Mixture-of-Experts-Modell mit 397 Milliarden…