KI-gestützte Wissenssuche, ohne die Daten aus der Hand zu geben

Quellcode in Rust

Ausgangssituation

Eine Browser-Erweiterung für Wissensarbeit: Sie wertet aus, was jemand liest und recherchiert, verknüpft es und macht es später wieder auffindbar - unterstützt durch ein Sprachmodell.
Der übliche Weg dorthin ist, Verlauf und Seiteninhalte an einen Cloud-Dienst zu schicken und das Modell dort darauf ansetzen zu lassen. Genau das sollte hier nicht passieren.
Verlauf, geöffnete Seiten und deren Inhalte werden ausschließlich auf dem Rechner des Nutzers verarbeitet und gespeichert.

Der Widerspruch im Kern des Produkts: Ein Sprachmodell braucht Kontext, um nützlich zu sein - und dieser Kontext ist genau das, was den Rechner nicht verlassen soll.
Ein semantisches Datenmodell, das sehr unterschiedliche Quellen - Webseiten, E-Mails, Dokumente - so beschreibt, dass sich Beziehungen zwischen ihnen abbilden und auswerten lassen
Eine Suche, die im Browser schnell bleibt, obwohl Index und Auswertung dort liegen und nicht auf einem Server
Ansätze der Vektorsuche unter den Randbedingungen einer Browser-Erweiterung: begrenzter Speicher, begrenzte Laufzeit, kein nativer Prozess im Hintergrund
Anbindung externer Dienste für E-Mail und Dokumente, ohne das Datenschutzversprechen aufzuweichen

Austauschbare Anbindung an Sprachmodelle statt eines fest verdrahteten Cloud-Anbieters. Eingebunden werden kann ebenso gut ein offenes Modell, das auf dem eigenen Rechner oder im Firmennetz läuft. Damit bleibt auch der KI-Teil innerhalb der Grenze, die das Produkt verspricht - der Datenschutz endet nicht dort, wo die Intelligenz anfängt.
Semantisches Datenmodell als gemeinsame Grundlage für Verknüpfung, Auswertung und Suche
Lokaler Suchindex mit Ansätzen der Vektorsuche, vollständig in WebAssembly
Entwicklung der Erweiterung in Rust, gemeinsam mit dem Team des Kunden - ausgeführt als WebAssembly im Browser
Anbindung externer Dienste über OAuth, sodass die Daten zwischen dem Rechner des Nutzers und den von ihm autorisierten Konten fließen
Ergänzend ein Service-Backend in Rust für die Aufgaben, die außerhalb des Browsers stattfinden müssen

Offene Modelle und offene Schnittstellen sind für uns dieselbe Haltung, die wir in der Automatisierung vertreten: austauschbar statt an einen Anbieter gebunden
Lokale Verarbeitung statt Auslagerung auf fremde Server ist unsere bevorzugte Bauweise, nicht der Sonderfall - siehe auch Klimabilanzierung von Kläranlagen und Wasserstoff-Potenzialanalyse
Rust und WebAssembly sind bei uns Produktionstechnik - dieselbe Sprache im Browser und im Backend, ohne Bruch dazwischen
Erfahrung mit Datenmodellen und Suche über gewachsene, heterogene Datenbestände