Eine Kombination aus einem Heise-Artikel und eines Artikels auf Ubuntu Shell brachten mich in Versuchung, selbst mal mit einem LLM auf dem Rechner herumzuspielen.

Die Installation auf meinem Laptop war denkbar einfach, weil Flatpak bereits installiert war: flatpak install flathub com.jeffser.Alpaca

Installiert wurden dadurch:

1. [✓] com.jeffser.Alpaca.Locale stable i flathub 29,8 KB / 308,5 KB
2. [✓] org.freedesktop.Platform.GL.default 24.08 i flathub 146,4 MB / 146,7 MB
3. [✓] org.freedesktop.Platform.GL.default 24.08extra i flathub 22,7 MB / 146,7 MB
4. [✓] org.freedesktop.Platform.openh264 2.4.1 i flathub 920,7 KB / 976,5 KB
5. [✓] org.gnome.Platform.Locale 47 i flathub 24,3 MB / 386,3 MB
6. [✓] org.gtk.Gtk3theme.Yaru 3.22 i flathub 139,3 KB / 191,5 KB
7. [✓] org.gnome.Platform 47 i flathub 325,4 MB / 383,8 MB
8. [✓] com.jeffser.Alpaca stable i flathub 1,7 GB / 1,7 GB

Danach Alpaca starten und Metas Llama 3.1 (in der kleinsten Variante: ca. 4GB) runterladen. Es funktioniert besser, als ich es mir vorgestellt hatte.:

Kurze PDFs (z.B. eine Informatik-Klausur) konnten zuverlässig zusammengefasst werden, bei einem großen PDF fing das System allerdings an zu halluzinieren.

Mal schauen, ob es mit einer größeren Variante von LLama 3.1 besser geht. Aktuell scheue ich mich allerdings vor dem Platzverbrauch von 400+ GB.

Ach ja, loswerden geht auch: flatpak uninstall flathub com.jeffser.Alpaca