Kursplan

Introduktion till QLoRA och kvantisering

  • Översikt över kvantisering och dess roll i modelloptimering
  • Introduktion till QLoRA-ramverket och dess fördelar
  • Viktiga skillnader mellan QLoRA och traditionella finjusteringsmetoder

Grunderna i Large Language Models (LLMs)

  • Introduktion till LLMs och deras arkitektur
  • Utmaningar med finjustering av stora modeller i stor skala
  • Hur kvantisering hjälper till att övervinna beräkningsbegränsningar vid finjustering av LLMs

Implementering av QLoRA för Fine-Tuning LLMs

  • Inställning av QLoRA-ramverk och miljö
  • Förberedelse av datamängder för QLoRA-finjustering
  • Steg-för-steg-guide till implementering av QLoRA på LLMs med användning av Python och PyTorch/TensorFlow

Optimering av Fine-Tuning prestanda med QLoRA

  • Hur man balanserar modellnoggrannhet och prestanda med kvantisering
  • Tekniker för att minska beräkningskostnader och minnesanvändning under finjustering
  • Strategier för finjustering med minimal hårdvarukrav

Utvärdering av finjusterade modeller

  • Hur man bedömer effektiviteten hos finjusterade modeller
  • Vanliga utvärderingsmetriker för språkmodeller
  • Optimering av modellprestanda efter finjustering och felsökning av problem

Distribuering och skalning av finjusterade modeller

  • Bästa praxis för att distribuera kvantiserade LLMs i produktionsmiljöer
  • Skalning av distribution för att hantera realtidsförfrågningar
  • Verktyg och ramverk för modelldistribuering och övervakning

Reella Use Case och fallstudier

  • Fallstudie: Finjustering av LLMs för kundsupport och NLP-uppgifter
  • Exempel på finjustering av LLMs i olika branscher som hälsovård, finans och e-handel
  • Lärdomar från reella distributioner av QLoRA-baserade modeller

Sammanfattning och nästa steg

Krav

  • Förståelse för grunderna i maskininlärning och neuronnätverk
  • Erfarenhet av modelljustering och överföringsinlärning
  • Kännedom om stora språkmodeller (LLMs) och djupinlärningsramverk (t.ex., PyTorch, TensorFlow)

Målgrupp

  • Maskininlärningsingenjörer
  • AI-utvecklare
  • Datavetare
 14 timmar

Antal deltagare


Price per participant

Upcoming Courses

Relaterade Kategorier