Intrati in legatura

Schița de curs

Fundațiile IA Locale Secure

  • Ce înseamnă IA locală și on-prem în medii reglementate
  • IA în cloud versus implementare internă pentru sarcini sensibile
  • Cazuri de utilizare enterprise comune pentru asistenți privați și suportul fluxurilor de lucru
  • Componentele esențiale ale unei arhitecturi AI locale securizate

Fundațiile Ollama și a Modelor Deschise

  • Cum se integrează Ollama într-un stack de dezvoltare local
  • Descărcarea, rularea și gestionarea modelelor local
  • Alegerea modelelor în funcție de dimensiune, calitate, hardware și licență
  • Alinierea opțiunilor de modele la sarcinile practice ale afacerii

Pregătirea Mediului On-Prem

  • Pregătirea gazdei, stației de lucru și serverului
  • Instalarea și configurarea Ollama pentru inferență locală
  • Utilizarea containelor și a instrumentelor de dezvoltare intern
  • Verificarea accesului API și pregătirea operațională de bază

Lucrarea eficientă cu modelele locale

  • Rularea prompturilor și structurarea ieșirilor prin instrucțiuni de sistem
  • Reutilizarea șabloanelor pentru sarcini enterprise consistente
  • Gestionarea versiunilor de modele și a artefactelor interne
  • Tuning de performanță de bază pentru implementări CPU și GPU

Construirea fluxurilor de lucru agentic practice

  • Ceea ce face ca un flux de lucru să fie agentic într-un mediu controlat
  • Modele simple pentru planificare, utilizarea instrumentelor și buclele de răspuns
  • Proiectarea asistenților axați pe sarcini pentru operațiuni interne
  • Adăugarea revizuirii umane, logicii de fallback și gestionării erorilor

Fluxuri de lucru private de recuperare

  • Fundațiile generării îmbogățite prin recuperare pentru accesul intern la cunoștințe
  • Pregătirea documentelor pentru fragmentare, indexare și căutare
  • Conectarea unui stoc de vectori local la o aplicație bazată pe Ollama
  • Îmbunătățirea relevanței și a calității răspunsurilor prin modele de recuperare îmbunătățite

Practici de securitate, guvernanță și conformitate

  • Limitele gestionării datelor și considerentele privind confidențialitatea
  • Controlul accesului, jurnalele și suportul pentru audit
  • Siguranța prompturilor, controalele ieșirii și gardurile de protecție
  • Puncte de control de guvernanță pentru implementarea și operarea în medii reglementate

Modele de integrare enterprise

  • Expunerea capacităților AI locale prin API-uri interne
  • Integrarea asistenților cu aplicațiile și serviciile interne
  • Susținerea cazurilor de utilizare pentru asistenți, batch și automatizarea fluxurilor de lucru
  • Mentenanța soluțiilor în interiorul limitelor rețelei controlate

Evaluarea soluțiilor IA locale

  • Evaluarea calității, fiabilității și consistenței
  • Testarea în funcție de cerințele de afaceri, politică și siguranță
  • Compararea opțiunilor de modele pentru sarcini specifice enterprise
  • Stabilirea unui ciclu practic de îmbunătățire pentru echipele interne

Laborator de implementare hands-on

  • Construirea unui asistent privat cu Ollama și un model deschis
  • Adăugarea recuperării peste documente interne aprobate
  • Introducerea acțiunilor simple agentic și a controalelor de siguranță
  • Revizuirea punctelor de control pentru implementare, operațiuni și guvernanță

Planificare adoptare și pași următori

  • Revizuiri deciziilor cheie de design și implementare
  • Identificarea capcanelor comune în proiectele AI reglementate
  • Planificarea cazurilor de utilizare pilot și alinierea stakeholderilor
  • Definirea unui drum de urmat pentru adoptarea IA locale securizate

Cerințe

  • Înțelegerea de bază a conceptelor AI și a dezvoltării software
  • Familiaritate cu instrumentele de linie de comandă, containerele sau mediile locale de dezvoltare
  • Experiență de bază în scriptare sau programare

Public țintă

  • Dezvoltatori și echipe tehnice care construiesc soluții AI private pe infrastructură internă
  • Profesioniști din domeniul securității, conformității și platformelor, susținând AI în medii reglementate
  • Lideri tehnici din finanțe, sănătate, guvern și apărare care evaluează adoptarea AI on-prem
 21 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite