Skocz do zawartości

Aktywacja nowych użytkowników
Zakazane produkcje

  • advertisement_alt
  • advertisement_alt
  • advertisement_alt
Courses2024

Train OpenSource Large Language Models from Zero to Hero

Rekomendowane odpowiedzi

f8a61aed3989d5b2ba30b919c2a98032.jpeg
Free Download Train OpenSource Large Language Models from Zero to Hero
Published 9/2024
Created by Gal Peretz
MP4 | Video: h264, 1280x720 | Audio: AAC, 44.1 KHz, 2 Ch
Genre: eLearning | Language: English | Duration: 27 Lectures ( 2h 35m ) | Size: 2 GB

How to train Open Source LLMs with LoRA QLoRA, DPO and ORPO.
What you'll learn:
What is language model and how the training pipeline looks like
Fine tuning LLMs with supervised fine-tune (LoRA, QLoRA, DoRA)
Align LLMs to human preference using DPO, KTO and ORPO
Accelerate LLM training with multiple GPUs training and Unsloth library
Requirements:
No prior knowledge is required
Description:
Unlock the full potential of Large Language Models (LLMs) with this comprehensive course designed for developers and data scientists eager to master advanced training and optimization techniques.I'll cover everything from A to Z, helping developers understand how LLMs works and data scientists learn simple and advance training techniques. Starting with the fundamentals of language models and the transformative power of the Transformer architecture, you'll set up your development environment and train your first model from scratch.Dive deep into cutting-edge fine-tuning methods like LoRA, QLoRA, and DoRA to enhance model performance efficiently. Learn how to improve LLM robustness against noisy data using techniques like Flash Attention and NEFTune, and gain practical experience through hands-on coding sessions.The course also explores aligning LLMs to human preferences using advanced methods such as Direct Preference Optimization (DPO), KTO, and ORPO. You'll implement these techniques to ensure your models not only perform well but also align with user expectations and ethical standards.Finally, accelerate your LLM training with multi-GPU setups, model parallelism, Fully Sharded Data Parallel (FSDP) training, and the Unsloth framework to boost speed and reduce VRAM usage. By the end of this course, you'll have a good understanding and practical experience to train, fine-tune, and optimize robust open-source LLMs.
Who this course is for:
Developers, Data scientists, AI enthusiasts
Homepage

Ukryta Zawartość

    Treść widoczna tylko dla użytkowników forum DarkSiders. Zaloguj się lub załóż darmowe konto na forum aby uzyskać dostęp bez limitów.










Ukryta Zawartość

    Treść widoczna tylko dla użytkowników forum DarkSiders. Zaloguj się lub załóż darmowe konto na forum aby uzyskać dostęp bez limitów.

No Password - Links are Interchangeable

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Dołącz do dyskusji

Możesz dodać zawartość już teraz a zarejestrować się później. Jeśli posiadasz już konto, zaloguj się aby dodać zawartość za jego pomocą.

Gość
Dodaj odpowiedź do tematu...

×   Wklejono zawartość z formatowaniem.   Usuń formatowanie

  Dozwolonych jest tylko 75 emoji.

×   Odnośnik został automatycznie osadzony.   Przywróć wyświetlanie jako odnośnik

×   Przywrócono poprzednią zawartość.   Wyczyść edytor

×   Nie możesz bezpośrednio wkleić grafiki. Dodaj lub załącz grafiki z adresu URL.

    • 3 Posts
    • 68 Views
    • 1 Posts
    • 13 Views
    • 1 Posts
    • 30 Views
    • 1 Posts
    • 43 Views
    • 1 Posts
    • 40 Views

×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Korzystając z tej witryny, wyrażasz zgodę na nasze Warunki użytkowania.