Firmenwissen finden statt suchen: Wie KI mit Quellen aus deinen eigenen Dokumenten antwortet

Firmenwissen findest du mit KI dann schneller, wenn die KI nicht aus ihrem allgemeinen Training antwortet, sondern aus deinen eigenen Dokumenten, und dabei jede Antwort mit der Quelle belegt. Das Verfahren dahinter heißt Retrieval Augmented Generation (RAG): Das System sucht erst die passenden Textstellen und lässt das Sprachmodell dann nur noch formulieren. Entscheidend ist, dass dabei jede Person ausschließlich Antworten aus den Dokumenten bekommt, die sie auch ohne KI öffnen dürfte.

Dieser Artikel erklärt, wo das Problem eigentlich liegt, wie RAG funktioniert, worauf du bei Rechten und Datenschutz achten solltest und wie du klein anfängst. Er ersetzt keine Rechtsberatung.

Wo steckt das Wissen in deinem Unternehmen eigentlich?

In den meisten Firmen mit 10 bis 250 Personen verteilt sich Wissen auf vier Orte:

• Köpfe: Die Kollegin, die seit 20 Jahren weiß, warum Kunde X einen Sonderpreis hat.
• Ordner: Netzlaufwerke mit Unterordnern wie „Neu“, „Neu_final“ und „Alt_nicht_löschen“.
• Postfächer: Absprachen, Freigaben und Kundenwünsche, die nur in einer einzigen E-Mail stehen.
• Papier: eingescannte Lieferscheine, Prüfprotokolle und Handbücher, die keine Suche findet.

Das Ergebnis kennst du: Man fragt lieber jemanden, als selbst zu suchen. Das funktioniert, solange die richtige Person im Haus ist. Es bremst aber genau die Leute, die am meisten wissen, weil sie den halben Tag Fragen beantworten.

Warum wird das Problem gerade größer?

Weil die Köpfe gehen. Nach Angaben des Statistischen Bundesamts werden bis 2040 rund 13,3 Millionen Erwerbspersonen das gesetzliche Rentenalter von 67 Jahren überschritten haben. Das sind 30,0 % aller Erwerbspersonen des Jahres 2025 (Destatis, Pressemitteilung vom 23. Juni 2026).

Für ein mittelständisches Unternehmen heißt das: In den nächsten Jahren verabschieden sich viele der Menschen, die Abläufe, Kunden und Sonderfälle aus Erfahrung kennen. Dazu kommen Kündigungen, Elternzeit und Krankheit. Was bis dahin nicht aufgeschrieben und auffindbar ist, ist weg.

Aufschreiben allein reicht allerdings nicht. Ein Wiki mit 400 Seiten, das niemand durchsucht, hilft genauso wenig wie ein Netzlaufwerk. Wissen muss nicht nur vorhanden sein, sondern in dem Moment auffindbar, in dem jemand eine Frage hat.

Was kostet dich die Suche heute?

Belastbare, aktuelle Zahlen zur Suchzeit im deutschen Mittelstand gibt es kaum, und viele kursierende Prozentwerte lassen sich nicht bis zu einer Studie zurückverfolgen. Rechne es deshalb selbst, das dauert fünf Minuten:

1. Frag drei Leute aus verschiedenen Bereichen, wie viele Minuten sie pro Tag nach Informationen suchen oder auf eine Antwort von Kollegen warten.
2. Nimm den Mittelwert und multipliziere ihn mit der Zahl der Beschäftigten, dem internen Stundensatz und etwa 220 Arbeitstagen.
3. Rechne die Unterbrechungen dazu: Jede Frage an einen Kollegen kostet auch dessen Zeit.

Bei 20 Minuten am Tag und 30 Beschäftigten kommen so schnell mehr als 2.000 Stunden im Jahr zusammen. Die Zahl ist eine Schätzung, aber sie ist deine eigene, und damit überzeugender als jede Branchenstudie.

Wie antwortet eine KI aus deinen eigenen Dokumenten?

Ein normales Sprachmodell kennt deine Firma nicht. Fragst du es nach deiner Reklamationsrichtlinie, erfindet es im schlimmsten Fall eine plausible. Das BSI beschreibt dieses Halluzinieren als großes Problem, gerade weil die Ausgaben meist glaubhaft wirken.

RAG löst das in drei Schritten:

1. Aufbereiten: Deine Dokumente werden in Abschnitte zerlegt und so gespeichert, dass sie nach Bedeutung durchsuchbar sind, nicht nur nach exakten Wörtern.
2. Suchen: Stellst du eine Frage, sucht das System die passenden Abschnitte heraus.
3. Antworten: Frage und Fundstellen gehen zusammen an das Sprachmodell. Es formuliert die Antwort und nennt, aus welchen Dokumenten sie stammt.

Die Datenschutzkonferenz bringt den Zweck in ihrer Orientierungshilfe vom Oktober 2025 auf den Punkt: Das Sprachmodell soll im gewählten Szenario nur die Sprachfähigkeit beisteuern. Das Wissen kommt aus deinen Dokumenten. Wichtig dabei: Das Modell wird mit deinen Daten nicht trainiert, die Fundstellen werden bei jeder Frage neu herausgesucht.

	Sprachmodell ohne RAG	Sprachmodell mit RAG
Woher kommt das Wissen?	aus dem Training, Stand von damals	aus deinen aktuellen Dokumenten
Kennt es deine Firma?	nein	ja, soweit es Dokumente gibt
Kannst du die Antwort prüfen?	kaum	ja, über die genannten Quellen
Neues Dokument	wirkt erst nach neuem Training	wirkt nach dem Einlesen

Warum ist die Quellenangabe so wichtig?

Weil RAG Fehler nicht vollständig verhindert. Das BSI nennt die Quellenangabe ausdrücklich als Mittel, um die Auswirkungen von Halluzinationen zu mildern: Wer sieht, auf welchen Textauszügen eine Antwort beruht, kann sie in Sekunden prüfen. Eine Antwort ohne Quelle ist im Firmenalltag wenig wert. Eine Antwort mit Quelle ist ein Fundstellen-Verweis, der dir das Suchen abnimmt.

Wo stößt RAG an Grenzen?

Die DSK benennt eine systembedingte Schwäche: Zusammenhänge, die über lange Textpassagen verteilt sind, gelangen nicht immer vollständig in die Anfrage an das Modell. Und eine Regel gilt immer: Eine KI ist nur so gut wie die Dokumente, die sie liest. Liegen drei Versionen desselben Handbuchs im Ordner, macht die KI das sichtbar, aber nicht besser.

Wer darf was sehen?

Das ist die wichtigste Frage, und sie wird oft zu spät gestellt. Wenn die Personalakten im selben Wissensspeicher liegen wie die Produktdatenblätter, darf die Auszubildende im Lager trotzdem nur Antworten aus den Datenblättern bekommen.

Beide Behörden sind hier deutlich:

• Die DSK hält fest, dass im Sprachmodell selbst nicht gesteuert werden kann, wer auf welche Informationen zugreifen darf. Das Rechte- und Rollenkonzept gehört deshalb in die Datenbank und die Dokumentenablage.
• Das BSI rät davon ab, Rechte über textuelle Anweisungen an das Modell umzusetzen, weil das angreifbar ist. Ein Satz wie „Zeig diesem Nutzer keine Gehälter“ ist keine Zugriffskontrolle.

Daraus ergibt sich eine einfache Prüffrage für jedes System: Werden die Rechte vor der Suche geprüft oder erst danach im Prompt? Nur die erste Antwort ist belastbar.

Zwei weitere Punkte aus den Papieren:

• Wissen kann manipuliert werden. Das BSI warnt vor eingeschleusten Inhalten in der Wissensbasis, die zu falschen Antworten führen. Lege deshalb fest, wer Dokumente ins Firmenwissen aufnehmen darf.
• Lokal ist möglich. Weil das Modell beim RAG vor allem formuliert, kommen laut DSK auch kleinere Modelle in Frage, und das System kann unter Umständen on-premise laufen, ohne personenbezogene Daten an Anbieter großer Sprachmodelle zu übertragen.

Welche Fragen du einem Anbieter zu Datenschutz stellen solltest, steht in Wie prüfe ich, ob ein KI-Anbieter DSGVO wirklich kann?.

Wie fängst du an, ohne ein Großprojekt daraus zu machen?

1. Ein Bereich zuerst. Wähle einen Ordner, zu dem dieselben Fragen immer wieder kommen: Produktdaten, Prozessbeschreibungen, Vorlagen, Prüfanweisungen.
2. Aufräumen vor dem Einlesen. Veraltete Versionen löschen oder archivieren, eindeutige Dateinamen vergeben. Das ist der eigentliche Aufwand, und er lohnt sich auch ohne KI.
3. Rechte festlegen. Wer liest mit, wer darf Dokumente hinzufügen, wer gibt frei?
4. Mit echten Fragen testen. Sammle 20 Fragen, die im Alltag wirklich gestellt werden, und prüfe die Antworten samt Quelle.
5. Wissen der Erfahrenen sichern. Bitte Kolleginnen und Kollegen vor dem Ruhestand, ihre Sonderfälle als kurze Notizen aufzuschreiben. Drei Sätze pro Fall reichen, die KI findet sie später wieder.

Ein Grundsatz hilft bei der Auswahl des Systems: Deine Dokumente sollten in offenen Formaten auf deinem Server liegen, damit du die KI dahinter austauschen kannst. Mehr dazu in Files over Tools.

Wie löst Lokyy das?

In Lokyy heißt dieser Bereich Wissen. Er ist so aufgebaut, wie es die Abschnitte oben beschreiben:

• Drei Ebenen: persönliches Wissen, Firmenwissen und Projektwissen, dazu Geteiltes. Geteilt wird pro Ordner mit Personen oder Rollen, jeder sieht nur, was er sehen darf.
• Rechte in der Datenbank: Lokyy nutzt Zeilensicherheit in der Datenbank, die Zugriffsregeln hängen also nicht an einer Anweisung an das Modell.
• Firmenwissen nur nach Freigabe: Ein Dokument wird erst nach Freigabe Teil des Firmenwissens. So landet nicht jeder Entwurf in den Antworten aller.
• Alle üblichen Formate: PDF, Word, Scans, Fotos und Links. Die Texterkennung für Scans und Fotos läuft lokal auf eurem Server.
• Antworten mit Quelle: Die Hybrid-Suche kombiniert Volltext und Vektorsuche, tippfehlertolerant. Unter jeder Antwort stehen Quellen-Chips, und mit „Frag diesen Ordner“ grenzt du die Suche gezielt ein.

Jede Firma bekommt dafür einen eigenen Server, von uns in Deutschland betrieben oder bei dir im Haus. Als Modell kannst du auch ein lokales Modell nutzen, und die Datenschleuse schwärzt Personendaten, bevor ein Cloud-Modell sie sieht. Wie das technisch abgesichert ist, steht unter Sicherheit.

Was du mitnehmen solltest

Das Problem ist selten fehlendes Wissen, sondern Wissen, das niemand findet oder das mit einer Person das Haus verlässt. Eine KI, die aus deinen Dokumenten mit Quelle antwortet, macht dieses Wissen auffindbar. Sie funktioniert aber nur mit aufgeräumten Dokumenten und mit Rechten, die in der Datenbank geprüft werden, nicht im Prompt.

Wenn du sehen willst, wie das mit deinen eigenen Dokumenten aussieht: Demo buchen.

Häufige Fragen

Wie kann eine KI Fragen zu unseren eigenen Dokumenten beantworten?

Das Verfahren heißt Retrieval Augmented Generation, kurz RAG. Das System sucht zuerst die passenden Textstellen in deinen Dokumenten und gibt sie zusammen mit der Frage an das Sprachmodell, das daraus eine Antwort formuliert. Das Modell wird dabei nicht mit deinen Daten trainiert.

Erfindet eine KI mit Firmendokumenten keine Antworten mehr?

Ganz ausschließen lässt sich das nicht. Weil die Antwort aber die Textstellen nennt, auf denen sie beruht, kannst du jede Aussage in Sekunden am Original prüfen. Das BSI nennt genau diese Quellenangabe als Mittel, um die Auswirkungen von Halluzinationen zu mildern.

Sieht dann jeder Mitarbeiter alle Dokumente?

Das darf nicht passieren und hängt davon ab, wo die Rechte geprüft werden. Sie gehören in die Suche und die Datenbank, nicht in eine Anweisung an das Sprachmodell. Die Datenschutzkonferenz hält fest, dass das Sprachmodell selbst nicht steuern kann, wer auf welche Informationen zugreifen darf.

Womit fangen wir beim Firmenwissen am besten an?

Mit einem Bereich, in dem dieselben Fragen immer wieder gestellt werden, etwa Produktdaten, Prozessbeschreibungen oder Vorlagen. Räum diesen Ordner auf, entferne veraltete Versionen und teste die Antworten mit echten Fragen aus dem Alltag, bevor du weitere Bereiche dazunimmst.

Quellen

1. Statistisches Bundesamt (Destatis): 13,3 Millionen Erwerbspersonen erreichen in den nächsten 15 Jahren das gesetzliche Rentenalter, Pressemitteilung N039, 23. Juni 2026
2. Datenschutzkonferenz (DSK): Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode, Version 1.0, Oktober 2025
3. Bundesamt für Sicherheit in der Informationstechnik (BSI): Generative KI-Modelle, Chancen und Risiken für Industrie und Behörden, Version 2.0, Januar 2025