Opmerkingen voor ingenieurs die snelle, harde productiesoftware bouwen.
Filter op discipline. Beperken op formaat. Ga direct naar de artikelen die bij het werk passen.
Een productiegericht artikel over wat je moet meten in LLM-systemen, van latentie en tool-oproepen tot ophaalkwaliteit, drift en voor de gebruiker zichtbare betrouwbaarheid.
Een praktische gids voor het verminderen van de latentie van LLM en de uitgaven van GPU met batching, routering, caching en observatie, waardoor de productkwaliteit behouden blijft.
Een technische gids voor het verzenden van autonome AI-systemen met goedkeuringen, terugdraaiingen, snelheidslimieten en operationele controle in plaats van optimisme van demokwaliteit.