25.06.2025

KI trifft Unternehmenswissen:

Unternehmenschats mit RAG-Systemen und Confluence

Wie lassen sich moderne KI-Systeme sinnvoll im Unternehmen einsetzen – und welche Chancen und Herausforderungen bringt das mit sich? Dieser Frage sind wir im Rahmen unseres IKS-Labs nachgegangen.

In diesem „Labor“ haben wir ausprobiert, getestet und viel gelernt – über Technologie, Compliance und den praktischen Umgang mit KI-Anwendungen.

Warum wir das gemacht haben

In unserem Unternehmen steckt viel Wissen in Atlassian Confluence – einem zentralen Wiki, das seit Jahren intensiv genutzt wird. Doch Wissen hilft nur, wenn man es auch findet. Deshalb wollten wir herausfinden, wie moderne KI-basierte Suchsysteme dabei unterstützen können, Informationen schnell, verständlich und korrekt bereitzustellen.

Unser Ziel war ein System, das:
• Fragen verständlich beantwortet,
• Quellen transparent benennt,
• Zugriffsrechte korrekt berücksichtigt,
• auch bei Widersprüchen oder Lücken hilfreiche Hinweise liefert.

Dabei war klar: Es ging nicht darum, Metadaten auszuwerten, Mitarbeitende zu bewerten oder hochkomplexe Fachfragen zu lösen. Vielmehr wollten wir erkunden, wie sich Wissen im Unternehmen effizienter, datenschutzkonform und praxistauglich nutzen lässt.

Zwei Wege zum Prototyp

Am Beginn eines Labors standen auch bei uns architektonische Überlegungen. Wir haben uns dann für 2 verschiedene Wege entschieden:

Cloudbasierte Lösung mit Microsoft Azure:
Ein Chatbot auf .NET MAUI-Basis, der Confluence-Daten in einen Azure-Blob-Storage lädt und diese mittels Azure AI Search indiziert, vektorisiert und bei Anfragen abruft. Das Backend wurde mit Azure Functions umgesetzt und durch ein LLM unterstützt.
Lokale Lösung ohne Cloud mit Ollama:
Die zweite Variante war eine vollständig lokale Lösung – basierend auf Ollama und einem kompakten LLM, das über Python, LlamaIndex und OpenWebUI angesteuert wird.

Bereits kurze Zeit nach Beginn der technischen Implementierung konnten wir zu beiden Lösungen funktionierende Prototypen vorstellen.
Diese Erfahrung zeigte uns, dass sich mit moderner Technologie in kurzer Zeit einfache KI-Chatbots entwickeln lassen. Aber: Der Weg von „Daten rein“ zu „Antworten raus“ ist deutlich komplexer.

Lehrreiche Herausforderungen

Trotz der schnellen Fortschritte traten im Lab einige Herausforderungen auf, die besonders lehrreich waren:

Zugriffsrechte sind komplex:
Wer darf was sehen – und wie stellen wir das technisch sicher? Während Rollen und Gruppen innerhalb von Confluence oft klar definiert sind, sind diese Informationen über die von Atlassian angebotene Schnittstelle nicht sofort verfügbar. Bei jeder Anfrage muss zusätzlich geprüft werden, ob ein bestimmter Nutzer Zugriff auf eine bestimmte Seite hat. Umgekehrt lässt sich auch nicht einfach feststellen, auf welche Seiten ein Nutzer generell Zugriff besitzt. Ein zusätzliches Prüfelement musste also von uns implementiert werden.
Confluence ist kein Selbstläufer:
Obwohl die Dokumentation von Confluence umfangreich ist, braucht es ein genaues Verständnis der verschiedenen APIs. Es gibt zwei API-Versionen mit teils ähnlichem Aufbau, aber unterschiedlichen Details. Zusätzlich gibt es Blogposts, die sich zwar wie Seiten verhalten, aber separat behandelt werden müssen. Auch dynamische Inhalte – etwa Seitenbesitzer oder Metadaten – benötigen eine spezielle Behandlung in der Abfrage.
KI braucht Kontext:
Ohne gut strukturierte Daten kann auch ein leistungsstarkes Sprachmodell keine zuverlässigen Antworten liefern. Besonders dynamische Inhalte oder widersprüchliche bzw. fehlende Informationen erschweren die Verarbeitung. Die Komplexität ergibt sich sowohl aus der Datenextraktion via API als auch aus der Vektorisierung und Kontextbildung innerhalb der KI-Services.

Compliance ist kein Nebenthema

Neben der Implementierung war für uns auch klar: Ein gutes KI-System muss nicht nur technisch funktionieren, sondern auch sauber und verantwortungsvoll mit sensiblen Daten umgehen. Deshalb haben wir Datenschutz und Compliance von Anfang an mitgedacht:

• kein Zugriff ohne Berechtigung
• keine Speicherung personenbezogener Daten
• kein Tracking oder Profiling
• ausschließlich interne Nutzung; keine externen Zugriffe

Diese Prinzipien waren für uns essenziell und haben verdeutlicht, dass KI im Unternehmen nicht nur eine technologische, sondern auch eine vertrauensbasierte und organisatorische Aufgabe ist.

Qualität testen – aber wie?

Um sicherzustellen, dass unser System nicht nur schnell, sondern auch zuverlässig antwortet, haben wir ein halbautomatisiertes Testverfahren genutzt. Dabei kamen sogenannte „Embeddings“ zum Einsatz – mathematische Vektoren, mit denen sich die inhaltliche Ähnlichkeit zwischen erhaltener und gewünschter Antwort objektiv messen lässt. Zusätzlich führten wir explorative Tests durch, um typische Nutzungsszenarien und mögliche Eingaben besser nachvollziehen zu können.

Beide Testwege führten für uns zu zufriedenstellenden Ergebnissen. Insbesondere die Kombination und Aufbereitung von Informationen aus unterschiedlichen Seiten funktionierte sehr gut und liefert in Zukunft Mehrwerte. Allerdings zeigte die Testreihe auch, dass Widersprüche und Lücken nicht immer mit kompletter Sicherheit erkannt werden. Daher wird eine Qualitätsprüfung von Inhalten im Confluence auch im KI-Zeitalter weiterhin notwendig sein.

Unser Fazit

Moderne KI-Systeme wie RAG (Retrieval Augmented Generation) eröffnen spannende Möglichkeiten zur Wissensnutzung im Unternehmen – insbesondere in Kombination mit etablierten Plattformen wie Confluence.

Doch der Weg zur produktiven Lösung ist anspruchsvoll. Vor allem das Zusammenspiel zwischen Technologie, Datenschutz und den konkreten Anforderungen des Arbeitsalltags zeigt, dass die Implementierung von KI-Bots eine gesamtorganisatorische Aufgabe ist.

Dabei lohnt es sich, zentrale Fragen frühzeitig zu klären:
1. Müssen wirklich alle Daten für die KI zugänglich sein oder genügen bereits allgemeine Daten?
2. Möchte ich Skalierungseffekte durch die Cloud nutzen oder reicht eine lokale Lösung?
3. Welche konkreten Anforderungen technischer, rechtlicher und praktischer Art habe ich an mein System?

Unsere Erfahrung im Lab bei IKS zeigt, dass bereits die transparente und verständliche Aufbereitung von allgemein verfügbaren Informationen einen großen Mehrwert für die Mitarbeiter bieten kann. So kann in einem iterativen Prozess bereits ohne umfangreiche Berechtigungsprüfung gestartet und diese dann in späteren Ausbaustufen auf unterschiedlichen Wegen implementiert werden.

Auch die Frage nach lokaler Implementierung vs. Cloud-Lösung unterscheidet sich nicht im Umsetzungsaufwand. Hier sind insbesondere infrastrukturelle und architektonische Abwägungen zu treffen hinsichtlich Zugriffswegen, Aufrufzahlen und Umfang der gewünschten Antworten.

Wenn auch Sie das Potential Ihres internen Wissensmanagements vollumfänglich und sicher ausschöpfen wollen, dann nehmen Sie gerne Kontakt mit uns auf. Wir helfen und begleiten Sie auf der Reise zum ersten KI-Chatbot.