Anteckningar för ingenjörer som bygger snabb, hård produktionsmjukvara.
Filtrera efter disciplin. Begränsa efter format. Gå direkt till de artiklar som passar arbetet.
En produktionsinriktad artikel om vad man ska mäta i LLM-system, från latens och verktygsanrop till hämtningskvalitet, drift och tillförlitlighet som är synlig för användaren.
En praktisk guide för att minska LLM latens och GPU-utgifter med batchning, routing, cachning och observerbarhet som bevarar produktkvaliteten.
En teknisk guide för att frakta autonoma AI system med godkännanden, återkallningar, hastighetsbegränsningar och driftskontroll snarare än optimism av demograd.