Curs de pregatire Construirea Aplicațiilor Securizate și Responsabile bazate pe LLM
Securitatea aplicațiilor LLM este disciplina de proiectare, construire și întreținere a sistemelor sigure, de încredere și conforme cu politicile, folosind modele lingvistice de mari dimensiuni.
Acest training condus de un instructor, live (online sau la fața locului), este destinat dezvoltatorilor, arhitecților și managerilor de produse AI de nivel intermediar până la avansat, care doresc să identifice și să atenueze riscurile asociate aplicațiilor bazate pe LLM, inclusiv injecția de prompturi, scurgerea de date și ieșirea nefiltrată, în timp ce încorporează controale de securitate precum validarea intrărilor, supravegherea umană în buclă și bariere de ieșire.
La sfârșitul acestui training, participanții vor fi capabili să:
- Înțeleagă vulnerabilitățile de bază ale sistemelor bazate pe LLM.
- Aplice principii de proiectare securizată în arhitectura aplicațiilor LLM.
- Folosească instrumente precum Guardrails AI și LangChain pentru validare, filtrare și siguranță.
- Integreze tehnici precum sandboxing, red teaming și revizuire umană în buclă în fluxurile de producție.
Formatul Cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Schița de curs
Prezentare generală a arhitecturii LLM și a suprafeței de atac
- Cum sunt construite, implementate și accesate LLM-urile prin API-uri
- Componente cheie în stivele de aplicații LLM (de ex., prompturi, agenți, memorie, API-uri)
- Unde și cum apar problemele de securitate în utilizarea reală
Injecția de Prompturi și Atacurile Jailbreak
- Ce este injecția de prompturi și de ce este periculoasă
- Scenarii de injecție de prompturi directe și indirecte
- Tehnici de jailbreak pentru a ocoli filtrele de siguranță
- Strategii de detectare și atenuare
Riscuri de Scurgere a Datelor și Confidențialitate
- Expunerea accidentală a datelor prin răspunsuri
- Scurgeri de PII și utilizarea abuzivă a memoriei modelului
- Proiectarea prompturilor conștiente de confidențialitate și a generării augmentate de recuperare (RAG)
Filtrarea și Protejarea Ieșirilor LLM
- Utilizarea Guardrails AI pentru filtrarea și validarea conținutului
- Definirea schemelor și constrângerilor de ieșire
- Monitorizarea și înregistrarea ieșirilor nesigure
Abordări cu Om în Buclă și Fluxuri de Lucru
- Unde și când să introduci supravegherea umană
- Coi de aprobare, praguri de punctaj, gestionarea rezervei
- Calibrarea încrederii și rolul explicabilității
Modele de Proiectare Securizată a Aplicațiilor LLM
- Privilegiu minim și sandboxing pentru apelurile API și agenți
- Limitarea ratei, throttling și detectarea abuzurilor
- Înlănțuire robustă cu LangChain și izolarea prompturilor
Conformitate, Înregistrare și Guvernanță
- Asigurarea auditabilității ieșirilor LLM
- Menținerea urmăririi și controlul versiunilor/prompturilor
- Alinierea la politicile interne de securitate și nevoile de reglementare
Rezumat și Pași Următori
Cerințe
- O înțelegere a modelelor lingvistice de mari dimensiuni și a interfețelor bazate pe prompturi
- Experiență în construirea aplicațiilor LLM folosind Python
- Cunoștințe despre integrări API și implementări bazate pe cloud
Publicul țintă
- Dezvoltatori AI
- Arhitecți de aplicații și soluții
- Manageri tehnici de produse care lucrează cu instrumente LLM
Cursurile publice necesita 5+ participanti
Curs de pregatire Construirea Aplicațiilor Securizate și Responsabile bazate pe LLM - Rezervare
Curs de pregatire Construirea Aplicațiilor Securizate și Responsabile bazate pe LLM - Solicitare
Construirea Aplicațiilor Securizate și Responsabile bazate pe LLM - Cerere de consultanta
Cursuri viitoare
Cursuri înrudite
LangGraph Avansat: Optimizare, Depanare și Monitorizare a Graficelor Complexe
35 OreLangGraph este un cadru pentru construirea aplicațiilor LLM cu stare, multi-actor, sub formă de grafuri componibile cu stare persistentă și control asupra execuției.
Acest training condus de un instructor, live (online sau la fața locului), este destinat inginerilor de platformă AI de nivel avansat, DevOps pentru AI și arhitecților ML care doresc să optimizeze, să depaneze, să monitorizeze și să opereze sisteme LangGraph de nivel de producție.
La sfârșitul acestui training, participanții vor putea:
- Proiecta și optimiza topologii complexe LangGraph pentru viteză, cost și scalabilitate.
- Ingineria fiabilității cu reîncercări, timeout-uri, idempotență și recuperare bazată pe checkpoint-uri.
- Depana și urmări execuțiile graficelor, inspecta starea și reproduce sistematic problemele de producție.
- Instrumenta grafice cu loguri, metrici și urme, să le implementeze în producție și să monitorizeze SLA-urile și costurile.
Formatul Cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu de laborator live.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Construirea Agenților de Codificare cu Devstral: De la Proiectarea Agentului la Instrumentare
14 OreDevstral este un cadru open-source conceput pentru a construi și a rula agenți de codificare care pot interacționa cu baze de cod, instrumente de dezvoltare și API-uri pentru a îmbunătăți productivitatea ingineriei.
Acest training condus de un instructor, live (online sau la fața locului), este destinat inginerilor de nivel intermediar și avansat în domeniul ML, echipelor de instrumente pentru dezvoltatori și SRE-urilor care doresc să proiecteze, să implementeze și să optimizeze agenți de codificare folosind Devstral.
La sfârșitul acestui training, participanții vor putea:
- Să configureze și să seteze Devstral pentru dezvoltarea agenților de codificare.
- Să proiecteze fluxuri de lucru agentice pentru explorarea și modificarea bazelor de cod.
- Să integreze agenții de codificare cu instrumente de dezvoltare și API-uri.
- Să implementeze cele mai bune practici pentru o implementare sigură și eficientă a agenților.
Formatul cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu de laborator live.
Opțiuni de personalizare a cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Open-Source Model Ops: Auto-gospodărire, Fine-Tuning și Guvernanță cu Modelele Devstral și Mistral
14 OreModelele Devstral și Mistral sunt tehnologii AI open-source concepute pentru implementare flexibilă, fine-tuning și integrare scalabilă.
Acest training condus de un instructor, live (online sau onsite), este destinat inginerilor ML de nivel intermediar–avansat, echipelor de platformă și inginerilor de cercetare care doresc să auto-gospodărească, să ajusteze și să guverneze modelele Mistral și Devstral în medii de producție.
La sfârșitul acestui training, participanții vor putea:
- Să configureze și să pregătească medii auto-gospodărite pentru modelele Mistral și Devstral.
- Să aplice tehnici de fine-tuning pentru performanță specifică domeniului.
- Să implementeze versiune, monitorizare și guvernanță a ciclului de viață.
- Să asigure securitate, conformitate și utilizare responsabilă a modelelor open-source.
Formatul Cursului
- Prelegere interactivă și discuții.
- Exerciții practice de auto-gospodărire și fine-tuning.
- Implementare live-lab a conductelor de guvernanță și monitorizare.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Aplicații LangGraph în Finanțe
35 OreLangGraph este un cadru pentru construirea de aplicații LLM cu mai mulți actori și stare persistentă, ca grafuri componibile cu control asupra execuției.
Acest training condus de un instructor, live (online sau la fața locului), este destinat profesioniștilor de nivel intermediar și avansat care doresc să proiecteze, să implementeze și să opereze soluții financiare bazate pe LangGraph, respectând regulile de guvernanță, observabilitate și conformitate.
La finalul acestui training, participanții vor putea:
- Proiecta fluxuri de lucru LangGraph specifice finanțelor, aliniate la cerințele de reglementare și audit.
- Integra standarde și ontologii de date financiare în starea grafului și instrumentele aferente.
- Implementa controale de fiabilitate, siguranță și implicare umană pentru procese critice.
- Deploy, monitoriza și optimiza sisteme LangGraph pentru performanță, cost și SLA-uri.
Formatul Cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu de laborator live.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
LangGraph Foundations: Grafică Bazată pe LLM și Lanțuri de Prompturi
14 OreLangGraph este un cadru pentru construirea aplicațiilor LLM structurate pe grafice, care suportă planificare, ramificare, utilizarea de unelte, memorie și execuție controlabilă.
Acest training condus de un instructor, live (online sau la fața locului), este destinat dezvoltatorilor începători, inginerilor de prompturi și practicienilor din domeniul datelor care doresc să proiecteze și să construiască fluxuri de lucru LLM fiabile, cu mai multe etape, folosind LangGraph.
La finalul acestui training, participanții vor putea:
- Explica conceptele de bază ale LangGraph (noduri, muchii, stare) și când să le folosească.
- Construi lanțuri de prompturi care se ramifică, apelează unelte și mențin memoria.
- Integra recuperarea și API-uri externe în fluxurile de lucru bazate pe grafice.
- Testa, depana și evalua aplicațiile LangGraph pentru fiabilitate și siguranță.
Formatul Cursului
- Prelegere interactivă și discuții facilitate.
- Laboratoare ghidate și prezentări de cod într-un mediu sigur.
- Exerciții bazate pe scenarii de proiectare, testare și evaluare.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
LangGraph în Sănătate: Orchestrarea Fluxurilor de Lucru pentru Mediile Reglementate
35 OreLangGraph permite fluxuri de lucru cu stare, multi-actor, alimentate de LLM-uri, cu un control precis asupra căilor de execuție și al păstrării stării. În domeniul sănătății, aceste capabilități sunt cruciale pentru conformitate, interoperabilitate și construirea sistemelor de sprijin în luarea deciziilor care se aliniază cu fluxurile de lucru medicale.
Acest training condus de un instructor, live (online sau la fața locului), este destinat profesioniștilor de nivel intermediar până la avansat care doresc să proiecteze, să implementeze și să gestioneze soluții bazate pe LangGraph în domeniul sănătății, abordând în același timp provocările reglementare, etice și operaționale.
La sfârșitul acestui training, participanții vor putea:
- Proiecta fluxuri de lucru specifice sănătății folosind LangGraph, având în vedere conformitatea și auditabilitatea.
- Integra aplicații LangGraph cu ontologii și standarde medicale (FHIR, SNOMED CT, ICD).
- Aplica cele mai bune practici pentru fiabilitate, urmărire și explicabilitate în medii sensibile.
- Implementa, monitoriza și valida aplicații LangGraph în setări de producție din domeniul sănătății.
Formatul Cursului
- Prelegere interactivă și discuții.
- Exerciții practice bazate pe studii de caz din viața reală.
- Practică de implementare într-un mediu live-lab.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
LangGraph pentru Aplicații Juridice
35 OreLangGraph este un cadru pentru construirea de aplicații LLM cu mai mulți actori și stare persistentă, sub formă de grafuri componibile, cu control precis asupra execuției.
Această formare condusă de un instructor, live (online sau la fața locului), este destinată profesioniștilor de nivel intermediar și avansat care doresc să proiecteze, să implementeze și să opereze soluții juridice bazate pe LangGraph, cu controalele necesare de conformitate, trasabilitate și guvernanță.
La finalul acestei formări, participanții vor putea:
- Proiecta fluxuri de lucru specifice domeniului juridic în LangGraph care să păstreze auditabilitatea și conformitatea.
- Integra ontologii juridice și standarde de documente în starea și procesarea grafului.
- Implementa bariere de protecție, aprobări cu implicarea umană și căi de decizie trasabile.
- Implementa, monitoriza și întreține servicii LangGraph în producție, cu observabilitate și control al costurilor.
Formatul Cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu de laborator live.
Opțiuni de Personalizare a Cursului
- Pentru a solicita o formare personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Construirea Fluxurilor de Lucru Dinamice cu LangGraph și Agenți LLM
14 OreLangGraph este un cadru de lucru pentru compunerea fluxurilor de lucru structurate în grafuri ale LLM-urilor, care sprijină ramificarea, utilizarea uneltelor, memoria și execuția controlabilă.
Acest training condus de un instructor, live (online sau la fața locului), este destinat inginerilor și echipelor de produs de nivel intermediar care doresc să combine logica grafică a LangGraph cu buclele agenților LLM pentru a construi aplicații dinamice și conștiente de context, cum ar fi agenți de asistență pentru clienți, arbori de decizie și sisteme de recuperare a informațiilor.
La finalul acestui training, participanții vor putea:
- Proiecta fluxuri de lucru bazate pe grafuri care coordonează agenți LLM, unelte și memorie.
- Implementa rutare condițională, încercări repetate și mecanisme de rezervă pentru o execuție robustă.
- Integra recuperarea, API-uri și ieșiri structurate în buclele agenților.
- Evalua, monitoriza și consolida comportamentul agenților pentru fiabilitate și siguranță.
Formatul Cursului
- Prelegere interactivă și discuții facilitate.
- Laboratoare ghidate și prezentări de cod într-un mediu de testare.
- Exerciții de proiectare bazate pe scenarii și evaluări între colegi.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
LangGraph pentru Automatizarea Marketingului
14 OreLangGraph este un cadru de orchestratie bazat pe grafice care permite fluxuri de lucru condiționale, în mai mulți pași, cu LLM și instrumente, ideal pentru automatizarea și personalizarea pipeline-urilor de conținut.
Această formare condusă de un instructor, live (online sau la fața locului), este destinată marketerilor de nivel intermediar, strategilor de conținut și dezvoltatorilor de automatizări care doresc să implementeze campanii de emailing dinamice, cu ramificări, și pipeline-uri de generare de conținut folosind LangGraph.
La finalul acestei formări, participanții vor putea:
- Să proiecteze fluxuri de lucru structurate pe grafice pentru conținut și emailing, cu logică condițională.
- Să integreze LLM-uri, API-uri și surse de date pentru personalizare automată.
- Să gestioneze starea, memoria și contextul în cadrul campaniilor cu mai mulți pași.
- Să evalueze, monitorizeze și optimizeze performanța fluxurilor de lucru și rezultatele de livrare.
Formatul Cursului
- Prelegeri interactive și discuții de grup.
- Sesiuni practice de implementare a fluxurilor de lucru pentru emailing și pipeline-uri de conținut.
- Exerciții bazate pe scenarii de personalizare, segmentare și logică de ramificare.
Opțiuni de Personalizare a Cursului
- Pentru a solicita o formare personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Le Chat Enterprise: ChatOps Privat, Integrări și Controale de Administrare
14 OreLe Chat Enterprise este o soluție privată de ChatOps care oferă organizațiilor capacități de inteligență artificială conversatională securizate, personalizabile și guvernate, cu suport pentru RBAC, SSO, conectori și integrarea aplicațiilor enterprise.
Acest training condus de un instructor, live (online sau la fața locului), este destinat managerilor de produse de nivel intermediar, liderilor IT, inginerilor de soluții și echipelor de securitate/conformitate care doresc să implementeze, configureze și guverneze Le Chat Enterprise în medii enterprise.
La sfârșitul acestui training, participanții vor putea:
- Să configureze și să implementeze Le Chat Enterprise pentru instalări securizate.
- Să activeze RBAC, SSO și controale bazate pe conformitate.
- Să integreze Le Chat cu aplicațiile și stocurile de date enterprise.
- Să proiecteze și să implementeze manuale de administrare și guvernanță pentru ChatOps.
Formatul cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de personalizare a cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Arhitecturi LLM Rentabile: Mistral la Scală (Inginerie de Performanță / Cost)
14 OreMistral este o familie de modele lingvistice de mare performanță, optimizate pentru implementarea rentabilă la scară în producție.
Acest training condus de un instructor, live (online sau la fața locului), este destinat inginerilor de infrastructură de nivel avansat, arhitecților de cloud și liderilor MLOps care doresc să proiecteze, să implementeze și să optimizeze arhitecturi bazate pe Mistral pentru un randament maxim și un cost minim.
La finalul acestui training, participanții vor putea:
- Să implementeze modele de implementare scalabile pentru Mistral Medium 3.
- Să aplice strategii de batching, cuantizare și servire eficientă.
- Să optimizeze costurile de inferență menținând performanța.
- Să proiecteze topologii de servire gata pentru producție pentru sarcini de lucru enterprise.
Formatul cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de personalizare a cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Produsirea Asistenților Conversaționali cu Conectori și Integrări Mistral
14 OreMistral AI este o platformă de inteligență artificială deschisă care permite echipelor să construiască și să integreze asistenți conversaționali în fluxurile de lucru ale întreprinderilor și ale clienților.
Acest training condus de un instructor, live (online sau la fața locului), este destinat managerilor de produse, dezvoltatorilor full-stack și inginerilor de integrare de la nivel începător până la intermediar, care doresc să proiecteze, să integreze și să producă asistenți conversaționali folosind conectori și integrări Mistral.
La sfârșitul acestui training, participanții vor putea:
- Integra modelele conversaționale Mistral cu conectori de întreprindere și SaaS.
- Implementa generarea augmentată prin recuperare (RAG) pentru răspunsuri fundamentate.
- Proiecta modele UX pentru asistenți de chat interni și externi.
- Implementa asistenți în fluxurile de lucru ale produselor pentru cazuri de utilizare din lumea reală.
Formatul Cursului
- Prelegere interactivă și discuții.
- Exerciții practice de integrare.
- Dezvoltare live a asistenților conversaționali.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Implementări de Nivel Enterprise cu Mistral Medium 3
14 OreMistral Medium 3 este un model de limbaj multimodal de înaltă performanță, proiectat pentru implementări de nivel de producție în medii enterprise.
Acest training condus de un instructor, live (online sau la fața locului), este destinat inginerilor AI/ML de nivel intermediar și avansat, arhitecților de platformă și echipelor MLOps care doresc să implementeze, să optimizeze și să securizeze Mistral Medium 3 pentru cazuri de utilizare enterprise.
La finalul acestui training, participanții vor putea:
- Să implementeze Mistral Medium 3 folosind opțiuni bazate pe API și self-hosted.
- Să optimizeze performanța inferenței și costurile.
- Să implementeze cazuri de utilizare multimodale cu Mistral Medium 3.
- Să aplice cele mai bune practici de securitate și conformitate pentru medii enterprise.
Formatul cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de personalizare a cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Mistral pentru IA Responsabilă: Confidențialitate, Rezidența Datelor și Controale Enterprise
14 OreMistral AI este o platformă de IA deschisă și gata pentru întreprinderi, care oferă funcții pentru implementarea sigură, conformă și responsabilă a IA.
Acest training condus de un instructor, live (online sau la fața locului) este destinat liderilor de conformitate, arhitecților de securitate și părților interesate din domeniul legal/operațional de nivel intermediar, care doresc să implementeze practici de IA responsabilă cu Mistral, utilizând mecanisme de confidențialitate, rezidență a datelor și controale enterprise.
La sfârșitul acestui training, participanții vor putea:
- Să implementeze tehnici de protecție a confidențialității în implementările Mistral.
- Să aplice strategii de rezidență a datelor pentru a îndeplini cerințele reglementare.
- Să configureze controale de nivel enterprise, cum ar fi RBAC, SSO și jurnale de audit.
- Să evalueze opțiunile de furnizori și implementare pentru alinierea la conformitate.
Formatul Cursului
- Prelegere interactivă și discuții.
- Studii de caz și exerciții axate pe conformitate.
- Implementare practică a controalelor de IA enterprise.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Aplicații Multimodale cu Modele Mistral (Viziune, OCR și Înțelegere de Documente)
14 OreModelele Mistral sunt tehnologii AI open-source care extind acum fluxurile de lucru multimodale, susținând atât sarcini de limbaj, cât și de viziune pentru aplicații de întreprindere și cercetare.
Acest training condus de un instructor, live (online sau la fața locului), este destinat cercetătorilor ML de nivel intermediar, inginerilor aplicați și echipelor de produse care doresc să construiască aplicații multimodale cu modele Mistral, inclusiv fluxuri de lucru OCR și de înțelegere a documentelor.
La finalul acestui training, participanții vor putea:
- Să configureze și să utilizeze modele Mistral pentru sarcini multimodale.
- Să implementeze fluxuri de lucru OCR și să le integreze cu pipeline-uri NLP.
- Să proiecteze aplicații de înțelegere a documentelor pentru cazuri de utilizare de întreprindere.
- Să dezvolte funcționalități de căutare text-viziune și interfețe utilizator asistive.
Formatul Cursului
- Prelegere interactivă și discuții.
- Exerciții practice de codare.
- Implementare live a pipeline-urilor multimodale.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
