Intrati in legatura

Schița de curs

Implementarea EXO Offline

  • Utilizarea EXO_OFFLINE pentru a preveni accesul la internet în timpul rulării
  • Încărcarea prealabilă a modelelor în EXO_MODELS_READ_ONLY_DIRS din oglinzi interne de încredere
  • Verificarea integrității greutăților modelelor cu sume de control SHA-256 și fișiere de modele semnate
  • Rularea EXO în rețele air-gapped fără dependențe de HuggingFace

Controlul Accesului la Panou și API

  • Instalarea și configurarea proxy-urilor inverse (nginx, Caddy) cu terminare TLS
  • Implementarea controlului accesului bazat pe roluri pentru panoul EXO și API-ul REST
  • Utilizarea keychain-ului macOS sau a sistemului pass Linux pentru stocarea secretelor de autentificare API
  • Restricționarea punctelor finale administrative la intervale de IP sursă specifice

Izolarea Clusterelor și Securitatea Rețelei

  • Segmentarea clusterelor EXO cu EXO_LIBP2P_NAMESPACE și VLAN-uri
  • Configurarea firewall-urilor gazdă (firewall de aplicație macOS, iptables, nftables) pentru porturile EXO
  • Prevenirea descoperirii neautorizate a dispozitivelor și injecției de noduri false
  • Criptarea traficului libp2p între noduri când RDMA nu este disponibil

Guvernanța și Proveniența Modelelor

  • Construirea unui registru intern de modele cu liste de modele aprobate și metadate
  • Etichetarea și versionarea greutăților cuantizate (4-bit, 8-bit) alături de punctele de control sursă
  • Aplicarea regulilor conform cărora doar anumite repo-uri HuggingFace sau artefacte interne pot fi încărcate
  • Documentarea liniei de descendență a modelelor, termenilor de licență și politicilor de utilizare acceptabilă

Jurnalizarea Auditului și Conformitatea

  • Configurarea redirecționării jurnalelor EXO către piste de audit imutabile (SIEM, stocare WORM)
  • Corelarea jurnalelor de apeluri API cu identitatea utilizatorului și marcajul de timp
  • Capturarea evenimentelor de creare, ștergere și cereri de inferență a modelelor
  • Generarea de rapoarte periodice de conformitate pentru auditorii interni și externi

Modelarea Amenințărilor și Răspunsul la Incidente

  • Identificarea amenințărilor: exfiltrarea datelor prin rezultatele modelelor, injecția de prompturi, scurgeri prin canale laterale
  • Implementarea conductelor de monitorizare a prompturilor și filtrare a conținutului
  • Crearea de manuale de răspuns la incidente pentru scenarii de compromitere a clusterelor
  • Izolarea nodurilor afectate, păstrarea jurnalelor forenzice și reconstruirea mediilor curate

Securitatea Fizică și Limitele Hardware

  • Protejarea porturilor Thunderbolt împotriva conexiunilor neautorizate de cabluri RDMA
  • Utilizarea enclavelor securizate și a atestării hardware Apple Silicon acolo unde este aplicabil
  • Controlul accesului fizic la calculatoarele Mac și stocarea partajată
  • Documentarea ciclului de viață al hardware-ului și a procedurilor de dezafectare

Considerații Regulatorii

  • Maparea implementărilor EXO la cerințele GDPR, HIPAA și SOC 2
  • Menținerea rezidenței datelor prin păstrarea inferenței on-premise
  • Documentarea riscurilor din lanțul de aprovizionare al furnizorilor (MLX, EXO, greutăți de modele)
  • Pregătirea pentru cadre de guvernanță AI, cum ar fi Articolul 53 din Legea UE privind IA

Cerințe

  • Experiență cu EXO sau un alt runtime local LLM
  • Înțelegere a permisiunilor sistemului de fișiere Unix și ACL-urilor de rețea
  • Familiaritate cu gestionarea certificatelor TLS/SSL și noțiuni de bază de criptare

Publicul țintă

  • Ingineri de securitate
  • Ofițeri de conformitate
  • Administratori de infrastructură AI care gestionează date sensibile
 14 Ore

Numărul de participanți


Pret per participant

Mărturii (1)

Cursuri viitoare

Categorii înrudite