RAG oder eigenes Modell trainieren?

Die Frage taucht früh auf, meist schon im zweiten Gespräch. Soll die KI auf unsere Daten trainiert werden? Dahinter steckt eine verbreitete Vorstellung. Ein Modell lerne Unternehmenswissen so, wie ein Mitarbeiter es lernt, nämlich durch Aufnehmen und Behalten.

Diese Vorstellung führt in die Irre. Und sie führt zu teuren Projekten, welche das eigentliche Ziel verfehlen.

Was die beiden Wege tatsächlich tun

Beim Training oder Feintuning werden die Gewichte eines Modells verändert. Das Wissen wandert in das Modell hinein und ist danach nicht mehr einzeln adressierbar. Es liegt verteilt in Zahlen, nicht als Text.

Bei RAG bleibt das Wissen außerhalb. Dabei handelt es sich um ein Verfahren, bei welchem vor jeder Antwort in den eigenen Dokumenten gesucht wird. Der gefundene Abschnitt wird dem Modell zusammen mit der Frage übergeben. Erst daraus formuliert es die Antwort.

Der Unterschied ist grundsätzlicher Natur. Beim Training wird das Modell verändert. Bei RAG bleibt das Modell unverändert und bekommt lediglich bessere Eingaben.

Der Vergleich an fünf Punkten

Aktualität

Ein geändertes Dokument wirkt bei RAG sofort. Die nächste Frage erhält die neue Antwort. Ein trainiertes Modell müsste für dieselbe Änderung erneut trainiert werden. In Unternehmen ändern sich Preise, Verfahrensanweisungen und Zuständigkeiten ständig. Dieser Punkt allein entscheidet die meisten Fälle.

Nachvollziehbarkeit

RAG liefert die Quelle mit. Die Antwort verweist auf den Abschnitt, aus welchem sie stammt, und ist mit einem Klick prüfbar. Ein trainiertes Modell kann das nicht. Es gibt eine Antwort aus, ohne angeben zu können, worauf sie beruht. Für eine Auskunft, welche jemand gegenüber einem Kunden vertreten muss, ist das ein erheblicher Unterschied.

Zugriffsrechte

Bei RAG greift die Suche auf Ihre bestehende Rechtestruktur zu. Wer eine Datei nicht sehen darf, bekommt sie auch nicht als Antwort. Bei einem trainierten Modell ist diese Trennung nicht mehr möglich. Das Wissen aus der Personalabteilung steckt dann im selben Modell wie das aus der Fertigung. Eine nachträgliche Trennung gibt es nicht.

Datenschutz

Gelangen personenbezogene Daten in ein Training, sind sie im Modell. Ein Löschersuchen nach Art. 17 DSGVO lässt sich dann kaum sauber erfüllen. Bei RAG wird der Datensatz an seiner Quelle gelöscht und ist damit auch aus den Antworten verschwunden. Genau deshalb ist RAG datenschutzrechtlich der deutlich einfachere Weg.

Aufwand

Ein Feintuning verlangt aufbereitete Trainingsdaten in erheblicher Menge und Qualität, dazu Rechenzeit und Fachwissen. Eine Wissensbasis verlangt geordnete Dokumente. Letzteres brauchen Sie ohnehin.

Wofür Feintuning trotzdem sinnvoll ist

Die Abwägung fällt nicht immer gegen das Training aus. Drei Fälle rechtfertigen es.

Stark spezialisierte Fachsprache. Wo eine Branche eine eigene Terminologie mit eigener Bedeutung verwendet, versteht ein allgemeines Modell die Fragen unter Umständen falsch. Ein Feintuning kann das beheben.

Ein festes Ausgabeformat. Soll das Modell immer nach demselben Muster antworten, etwa in einem strukturierten Prüfbericht, ist Training oft zuverlässiger als eine Anweisung im Text.

Enge, wiederkehrende Aufgaben. Eine Klassifikation, welche millionenfach abläuft, kann mit einem kleinen trainierten Modell schneller und günstiger laufen als mit einem großen allgemeinen.

In allen drei Fällen ersetzt das Training die Wissensbasis nicht. Es kommt hinzu. Die Kombination aus einem angepassten Modell und RAG ist dabei der Normalfall, nicht die Ausnahme.

Der Fehler, der beide Wege scheitern lässt

Die Entscheidung zwischen RAG und Feintuning wird meist zu früh geführt. Sie ist eine technische Frage. Davor steht eine andere.

Beide Verfahren greifen auf Ihre Unterlagen zu. Sind diese veraltet, widersprüchlich oder unauffindbar, hilft keines von beiden. Ein RAG-System antwortet dann zuverlässig falsch, weil es die falsche Quelle zuverlässig findet. Ein trainiertes Modell verfestigt den Fehler sogar.

Deshalb beginnen wir mit der Wissensbasis und nicht mit der Architektur. Zuerst ist zu klären, welche Unterlagen gelten, welche überholt sind und wer das entscheidet. Diese Arbeit lässt sich nicht durch Technik ersetzen. Sie ist zugleich der Teil, welchen die meisten Anbieter überspringen.

Was beide Wege kosten

Konkrete Beträge hängen zu sehr vom Einzelfall ab, um sie pauschal zu nennen. Die Kostenstruktur unterscheidet sich jedoch grundsätzlich, und das lässt sich beschreiben.

Ein Feintuning verursacht Kosten vorn. Trainingsdaten müssen aufbereitet werden, das Training selbst kostet Rechenzeit, und die Prüfung des Ergebnisses kostet Fachzeit. Danach ist der laufende Betrieb günstig. Bei jeder größeren Wissensänderung fällt der Aufwand jedoch erneut an.

RAG verursacht Kosten laufend. Jede Frage löst eine Suche und einen Modellaufruf aus. Dafür ist der Einstieg deutlich günstiger, und Änderungen an den Unterlagen kosten nichts zusätzlich.

Für die meisten mittelständischen Anwendungen ist das laufende Modell das wirtschaftlichere. Der Grund liegt weniger im Preis als im Risiko. Ein RAG-Aufbau lässt sich nach vier Wochen bewerten und gegebenenfalls abbrechen. Ein Feintuning-Projekt zeigt sein Ergebnis erst am Ende.

Der dritte Weg, den kaum jemand nennt

Zwischen beiden Verfahren liegt eine Möglichkeit, welche oft übersehen wird. Moderne Modelle verarbeiten sehr umfangreiche Eingaben. Für eine begrenzte Wissensmenge, etwa ein Handbuch oder eine Sammlung von Verfahrensanweisungen, kann es genügen, diese Unterlagen bei jeder Anfrage mitzugeben.

Das ist technisch trivial und in Tagen umgesetzt. Es eignet sich als Test, bevor über eine Wissensbasis entschieden wird. Zeigt sich dabei, dass die Antworten brauchbar sind, lohnt der Ausbau. Zeigt sich das Gegenteil, liegt es an den Unterlagen und nicht an der Architektur. Diese Erkenntnis ist einige Tage Aufwand wert.

Die Grenze ist erreicht, sobald die Wissensmenge wächst oder Zugriffsrechte zu berücksichtigen sind. Dann führt kein Weg an einer echten Wissensbasis vorbei.

Woran Sie einen ernsthaften Anbieter erkennen

Vier Fragen trennen brauchbare Angebote von unbrauchbaren.

Wird nach Ihren Unterlagen gefragt, bevor über Technik gesprochen wird? Wer ohne Kenntnis Ihrer Dokumentenlage eine Architektur vorschlägt, rät.

Wird die Antwortgüte gemessen, und womit? Ein belastbares Vorgehen prüft mit echten Fragen aus Ihrem Haus, nicht mit Beispielfragen des Anbieters.

Was geschieht, wenn die Wissensbasis nichts hergibt? Ein gutes System sagt, dass es die Antwort nicht kennt. Eine erfundene Antwort ist schlimmer als keine.

Wer kann die Unterlagen später pflegen? Ein System, welches nur der Anbieter aktualisieren kann, erzeugt eine Abhängigkeit, welche mit der Zeit teuer wird.

Wie eine Entscheidung praktisch aussieht

Drei Fragen genügen für eine erste Einordnung.

Ändert sich das Wissen, um welches es geht, häufiger als einmal im Quartal? Dann spricht das klar für RAG. Muss eine Antwort gegenüber Dritten belegbar sein? Dann ebenfalls. Gelten für Teile der Unterlagen unterschiedliche Zugriffsrechte? Dann ist RAG nicht nur besser, sondern die einzige saubere Lösung.

Wird alles drei verneint und geht es tatsächlich um Stil oder Format, lohnt die Prüfung eines Feintunings. Empfehlenswert ist dann trotzdem, zuerst mit einem RAG-Aufbau zu messen, wie weit man ohne Training kommt. Häufig ist das weiter als erwartet.