Curs de pregatire Fluxuri de lucru Multimodale LLM în Vertex AI

Introducere în LLM-uri Multimodale în Vertex AI

• Prezentare generală a capabilităților multimodale în Vertex AI
• Modele Gemini și modalități acceptate
• Cazuri de utilizare în mediul de afaceri și cercetare

Configurarea Mediului de Dezvoltare

• Configurarea Vertex AI pentru fluxuri de lucru multimodale
• Lucrul cu seturi de date în diverse modalități
• Laborator practic: configurarea mediului și pregătirea seturilor de date

Ferestre de Context Lung și Raționament Avansat

• Înțelegerea fluxurilor de lucru cu context lung
• Cazuri de utilizare în planificare și luarea deciziilor
• Laborator practic: implementarea analizei cu context lung

Proiectarea Fluxurilor de Lucru Cross-Modale

• Combinarea analizei textului, audio și imaginilor
• Legarea pașilor multimodali în pipeline-uri
• Laborator practic: proiectarea unui pipeline multimodal

Lucrul cu Parametrii Gemini API

• Configurarea intrărilor și ieșirilor multimodale
• Optimizarea inferenței și eficienței
• Laborator practic: reglarea parametrilor Gemini API

Aplicații Avansate și Integrări

• Agenti și asistenți multimodali interactivi
• Integrarea API-urilor și instrumentelor externe
• Laborator practic: construirea unei aplicații multimodale

Evaluare și Iterare

• Testarea performanței multimodale
• Metrici pentru acuratețe, aliniere și derivă
• Laborator practic: evaluarea fluxurilor de lucru multimodale

Rezumat și Pași Următori