Don’t train your own LLM

Common reasons to try to train your own LLM

• Gründe, wieso Leute das wollen - oder eher meinen zu wollen
  • “Wir vertrauen X nicht”
  • “Aber unsere Daten sind gaaanz besonders”
  • “Ich habe das gehört und es klingt gut.”
• Nachteile
  • Trainingsdaten?
  • Trainingskosten?
  • Rechenkapazität?

Is finetuning at least feasible?

• tl;dr: only under specific circumstances
  • Netz muss Open-Source oder anders zugänglich sein => Häufig “geistiges Eigentum” oder “secret sauce”
  • Menge an annotierten Daten? Nur weil das Netz Open Source ist, heißt das nicht, dass die Trainingsdaten es auch sind.

Ok, that sounds like shit. What should i do then?

• Just™ use good prompting - this goes a very long way