KI-Recherche-Assistent: Aufbau eines Forschungsdigests

Die beschriebene Pipeline begann mit einem zeitgesteuerten Abruf öffentlicher Forschungsquellen. Einfache Prüfungen auf Dubletten, Sprache und thematische Begriffe sollten vor dem Modellaufruf stattfinden. Erst geeignete Kandidaten gelangten zur KI-gestützten Einordnung und Zusammenfassung.

Der Bericht beschrieb außerdem strukturierte Ausgaben, einen erneuten Versuch bei ungültigem Format und eine manuelle Prüfung verbleibender Fehler. Als redaktionelle Erfahrung wurde hervorgehoben, dass klare Ausgabefelder und ein ausdrücklicher Status für Tage ohne neue Inhalte wichtig waren. Das sind Aussagen des bestehenden Projektberichts, keine hier erneut gemessenen Vergleichsergebnisse.

Für einen heutigen Nachbau müssen Quelle, Schnittstellenbedingungen und Prüfregeln neu festgelegt werden. Eine frühere Beschreibung belegt nicht automatisch, dass derselbe Ablauf mit jedem aktuellen Forschungsdienst oder jeder Publikationsart unverändert funktioniert.

Ein Digest benötigt einen klaren thematischen Auftrag. „Neue KI-Forschung“ ist zu breit, wenn die Leser eigentlich praktische Verfahren zur Qualitätsprüfung von Wissensassistenten suchen. Formulieren Sie Themen, Ausschlusskriterien, gewünschte Publikationstypen und Zielgruppe in verständlicher Sprache.

Legen Sie auch fest, was als neue Information zählt. Eine Erstveröffentlichung, eine neue Version, ein Rückzug und eine nachträgliche Korrektur sind unterschiedliche Ereignisse. Ein täglicher Digest kann diese getrennt darstellen, statt jede Änderung als neues Paper auszugeben.

Für die redaktionelle Auswahl empfiehlt sich eine kurze Begründung pro Kandidat: Welche Fragestellung passt zum Auftrag, welche Art von Evidenz liegt vor und welche Einschränkung ist für die Leser wesentlich? Eine bloße Relevanzzahl ist schwerer nachzuprüfen.

Crossref stellt über seine REST-API bibliografische Metadaten und weitere hinterlegte Informationen bereit, darunter gegebenenfalls Abstracts und Hinweise auf spätere Änderungen. Die Vollständigkeit hängt von den hinterlegten Datensätzen ab. Aus einem vorhandenen DOI folgt kein automatisch verfügbarer oder frei nachnutzbarer Volltext. Crossref: REST API.

OpenAlex dokumentiert Filter für seine API-Abfragen. Welche Filter, Zugangsbedingungen und Datenfelder der konkrete Abruf verwendet, sollte im Quellenregister festgehalten werden. Eine Planung mit einem Dienstnamen allein ist zu ungenau. OpenAlex: Filter.

Kennzeichnen Sie in jedem Digest-Eintrag die gelesene Grundlage: Titel und Metadaten, Abstract oder zugänglicher Volltext. Eine Aussage über Ergebnisse, Einschränkungen oder Studiendesign darf nicht so erscheinen, als sei die gesamte Publikation geprüft worden, wenn nur ein Abstract vorlag.

Das Veröffentlichungsdatum ist nicht das Datum, an dem ein Datensatz im Dienst aktualisiert wurde. Wer ausschließlich nach dem Publikationsdatum sucht, kann spätere Korrekturen verpassen. Crossref erläutert verschiedene Zeitfilter und die Verwendung des Indexierungsdatums für Änderungen am Metadatenbestand. Crossref: Synchronisationstipps.

Speichern Sie deshalb einen Fortschrittsstand pro Quelle und verarbeiten Sie ein kleines zeitliches Überlappungsfenster. Stabile Identitäten verhindern, dass erneut gelesene Datensätze automatisch zu doppelten Veröffentlichungen werden. Die konkrete Fenstergröße hängt von der Quelle ab und ist kein allgemeiner Standardwert.

Ein DOI eignet sich häufig als Identitätsmerkmal, doch nicht jeder Eintrag hat einen. Für solche Fälle braucht es eine vorsichtige Ersatzzuordnung anhand der verfügbaren Metadaten. Ähnliche Titel allein sollten keine automatische Zusammenführung erzwingen, wenn unterschiedliche Versionen oder Publikationen möglich sind.

Die folgenden vorgeschlagenen Felder machen in einem Digest-Eintrag die Quelle nachverfolgbar, begrenzen die Aussage und zeigen den redaktionellen Status.

Dieses Schema ist ein Entwurf, keine Behauptung über eine bereits umgesetzte aktuelle Schnittstelle. Pflichtfelder lassen sich auf Vollständigkeit prüfen. Fachliche Richtigkeit benötigt weiterhin einen Abgleich zwischen Aussage und Quelle. Ein syntaktisch gültiger Datensatz kann inhaltlich falsch sein.

Angenommen, ein erfundenes Paper untersucht ein Suchverfahren mit einem kleinen englischsprachigen Datensatz. Der Abstract berichtet eine Verbesserung gegenüber einer bestimmten Vergleichskonfiguration. Ein guter Digest übernimmt den begrenzten Befund und nennt die untersuchte Umgebung.

Eine schlechte Zusammenfassung würde daraus ableiten, das Verfahren sei für alle deutschsprachigen Unternehmensdaten überlegen. Diese Übertragung wurde nicht geprüft. Fehlt der Volltext, sollte der Eintrag offenlassen, welche weiteren methodischen Einschränkungen dort beschrieben werden.

Ein Prüfer kann den Kandidaten freigeben, eine vorsichtigere Formulierung verlangen oder ihn verwerfen. Die Entscheidung und die verwendete Quellenversion bleiben gespeichert. So lässt sich später erklären, warum ein Eintrag veröffentlicht wurde, ohne dem Modell eine eigene redaktionelle Autorität zuzuschreiben.

„Keine geeigneten neuen Veröffentlichungen“ ist ein normales Ergebnis. „Die Quelle war nicht erreichbar“ ist ein Betriebsproblem. Beide dürfen nicht als identische leere Liste erscheinen. Zeigen Sie intern, welche Quellen erfolgreich geprüft wurden und wo der Stand unvollständig ist.

Drei Veröffentlichungsregeln halten in einem Digest erneute Läufe, Korrekturen und Rückzüge auseinander:

• Erneuter Lauf. Bei einem erneuten Lauf darf ein bereits freigegebener Eintrag nicht mehrfach veröffentlicht werden.
• Spätere Korrektur. Bei einer späteren Korrektur sollte die bestehende Veröffentlichung einen sichtbaren Änderungshinweis erhalten, statt still durch einen neuen Text ersetzt zu werden.
• Rückzug. Ein Rückzug benötigt eine eigene redaktionelle Entscheidung über Darstellung und Benachrichtigung.

Prüfen Sie die Zustände für leere Tage, Fehler und Korrekturen im Digest mit den folgenden künstlichen Daten:

• Dublette
• fehlender Abstract
• geänderter Titel
• korrigierte Veröffentlichung
• API-Ausfall
• ungültige Modellausgabe

Der Test untersucht den Ablauf; er belegt noch keine umfassende wissenschaftliche Bewertungskompetenz.

Starten Sie mit Entwürfen und fachlicher Freigabe. Messen Sie über einen festgelegten Zeitraum, wie viele Kandidaten korrigiert oder verworfen werden und welche Fehlerarten auftreten. Erfassen Sie dabei den tatsächlichen Prüfaufwand, die verwendeten Quellen und die Kosten des konkreten Betriebs.

Ziehen Sie auch Stichproben aus den abgelehnten Kandidaten. Eine Pipeline, die ausschließlich zutreffende Zusammenfassungen veröffentlicht, kann trotzdem die relevantesten Arbeiten auslassen, weil ein früher Filter zu eng gefasst ist. Bewerten Sie die Abdeckung ebenso wie die Qualität der ausgewählten Beiträge. Trennen Sie das von Aussagen über Vollständigkeit in der gesamten wissenschaftlichen Literatur, die ein begrenzter Quellenbestand nicht stützen kann.

Erst diese eigenen Daten erlauben eine Entscheidung über mehr Automatisierung. Die Aufgabe bleibt ein Recherche- und Publikationsprozess mit nachvollziehbaren Zuständigkeiten. Der Leitfaden zu Entwurf und Freigabe ergänzt den redaktionellen Ablauf; der RAG-Testplan hilft bei der Prüfung von Quellenbezug und unbelegten Aussagen.

Diese Leitfäden von modernagents behandeln angrenzende Entscheidungen rund um KI-Wissensassistenten:

• KI-Wissensassistent: internes Wissen auffindbar machen
• KI-Wissensdatenbank aufbauen: Quellen zuerst ordnen
• Wenn RAG falsche Antworten gibt: Quellen und Enthaltung prüfen