Reposted by Ralf
Wenn man im Detail verstehen möchte, wie GPT funktioniert, empfehle ich das Video von Andrej Karpathy. Er baut darin Schritt für Schritt ein kleines GPT-Sprachmodell, erklärt die Funktionsweise von Transformern und trainiert das Modell anschließend.
youtu.be/kCc8FmEb1nY?...
youtu.be
Let's build GPT: from scratch, in code, spelled out.
YouTube video by Andrej Karpathy