Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Durata 14 ore
Schița de curs
Suveranitate AI și implementare locală LLM
- Riscurile LLM-urilor cloud: reținerea datelor, antrenarea pe intrări, jurisdicție externă.
- Arhitectura Ollama: server de modele, registru și API compatibil cu OpenAI.
- Compararea cu vLLM, llama.cpp și Text Generation Inference.
- Licențierea modelelor: termenii pentru Llama, Mistral, Qwen și Gemma.
Instalare și configurare hardware
- Instalarea Ollame pe Linux, cu suport pentru CUDA și ROCm.
- Fallback doar CPU și optimizare AVX/AVX2.
- Deploy cu Docker și mapare a volumelor persistente.
- Configurare multi-GPU și strategii de alocație VRAM.
Gestiunea modelelor
- Importul modelelor din registrul Ollama: ollama pull llama3.
- Importul modelelor GGUF din HuggingFace și TheBloke.
- Niveluri de cuantificare: tradeoff-urile dintre Q4_K_M, Q5_K_M și Q8_0.
- Comutarea modelelor și limitele de încărcare concurrentă.
Modelfiles personalizate
- Scrierea sintaxei Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ajustarea temperaturii, top_p și repeat_penalty.
- Prompt engineering pentru comportament specific rolului.
- Creatia și publicarea modelelor personalizate în registrul local.
Integrare API
- Endpoint-ul /v1/chat/completions, compatibil cu OpenAI.
- Răspunsuri streaming și mod JSON.
- Integrarea cu LangChain, LlamaIndex și aplicații personalizate.
- Autentificare și rate limiting cu reverse proxy.
Optimizarea performanței
- Dimensionarea ferestrei de context și gestionarea KV cache.
- Inferență în batch și procesarea paralelă a cerințelor.
- Alocarea firelor CPU și conștientizarea NUMA.
- Monitorizarea utilizării GPU și a presiunii pe memorie.
Securitate și conformitate
- Izolare rețea pentru endpoint-urile de servit modele.
- Pipe-uri de filtrare a intrărilor și moderare a ieșirilor.
- Logging de audit pentru prompturi și completări.
- Proveniența modelelor și verificarea hash-urilor.
Cerințe
- Administrație Linux și container la nivel intermediar.
- Înțelegerea modelelor de machine learning și transformer la nivel de principii.
- Familiaritate cu API-urile REST și JSON.
Audiț
- Ingineri și dezvoltatori AI care înlocuiesc API-urile cloud LLM.
- Organizații cu date sensibile, care nu pot utiliza modele cloud.
- Echipe de guvernanță și apărare care necesită modele de limbaj air-gapped.
