Kursplan

Introduktion till Reinforcement Learning från Mänsklig Återkoppling (RLHF)

  • Vad är RLHF och varför det är viktigt
  • Jämförelse med övervakade finjusteringar
  • RLHF-applikationer i moderna AI-system

Belöningsmodellering med Mänsklig Återkoppling

  • Insamling och strukturering av människlig återkoppling
  • Byggande och träning av belöningsmodeller
  • Bedömning av effektiviteten hos belöningsmodeller

Träning med Proximal Policy Optimization (PPO)

  • Översikt över PPO-algoritmer för RLHF
  • Implementering av PPO med belöningsmodeller
  • Iterativ och säker finjustering av modeller

Praktiska Fine-Tuning av Språkliga Modeller

  • Förberedelse av dataset för RLHF-flöden
  • Hands-on finjustering av en liten LLM med RLHF
  • Utmaningar och strategier för att minska dessa

Skalning av RLHF till Produktionssystem

  • Infrastruktur- och beräkningsövervägningar
  • Kvalitetssäkring och kontinuerliga återkopplingsloopar
  • Bästa praxis för distribution och underhåll

Etiska överväganden och åtgärder för att minska fördomar

  • Adressering av etiska risker i människlig återkoppling
  • Strategier för upptäckt och korrigering av fördomar
  • Säkerställande av överensstämmelse och säkra utdata

Case Studies och Exempel från Verkligheten

  • Case Study: Finjustering av ChatGPT med RLHF
  • Andra framgångsrika RLHF-distributioner
  • Lärdomar och insikter från branschen

Sammanfattning och Nästa steg

Krav

  • Förståelse för grunderna i övervakad och förstärkningsinlärning
  • Erfarenhet av modelljustering och neurala nätverkstekniker
  • Kännedom om Python programmering och djupinlärningsramverk (t.ex., TensorFlow, PyTorch)

Målgrupp

  • Machine Learning Ingenjörer
  • AI-forskare
 14 timmar

Antal deltagare


Price per participant

Upcoming Courses

Relaterade Kategorier