Curs de pregatire Modele de decizie self-hosting: Servire, Cuantizare, Lățime de Bandă și Operațiuni

Opțiuni de deploy

• Trade-off între API hosted și self-hosted
• Modele on-premises, edge și air-gapped
• Model unic versus portofoliu de modele
• Comparație cost per decizie

Dimensionare hardware și capacitate

• Amprut de memorie în funcție de numărul de parametri
• Doar CPU versus accelerare GPU
• Planificare concurență și debit
• Margine pentru creșterea lungimii sarcinii

Stack-uri de servire

• Opțiuni vLLM și SGLang
• Execuție llama.cpp și GGUF
• Ollama pentru dezvoltare locală
• Alegere în funcție de forma sarcinii de decizie

Cuantizare fără a pierde calibrarea

• Formate de precizie și economii de memorie
• Măsurarea pierderii de calitate și calibrare
• Varianti per-tensor și conștiente de importanță
• Testare de acceptare după cuantizare

Inginerie a latenței

• Latență mediană versus latență coadă
• Creșterea latenței cu lungimea contextului
• Start cald și cache al modelului
• Batching pentru mai multe întrebări de decizie

Edge și medii constrânse

• Modele mici de decizie pe CPU
• Deploy pe Apple Silicon și embedded
• Operație offline și strategie de update
• Distribuție de greutăți air-gapped

Containerizare și scalare

• Design de imagine pentru servire modele
• Gestionare volum și cache
• Scalare orizontală și routing
• Limitări de resurse și partajare GPU

Observabilitate

• Metrice pentru cereri, latență și erori
• Monitorizare distribuție de încredere
• Urmărire rezultat decizie și escaladări
• Alertare la drift de calibrare

Versionizare și lansare

• Versionizare modele și adaptori
• Deploy shadow și canary
• Fișiere de model pind pentru audit
• Proceduri de rollback

Securitate și multi-tenant

• Autentificare și limitare a ratei
• Izolare tenant pentru promturi și log-uri
• Izolare de rețea și control egress
• Log-are audit a deciziilor