Critic Gate v1: wie wir aufgehört haben, falsche Atome auszuliefern
Hinter der vierstufigen Verifikationskette, die jede Chemie-Antwort von cheemly durchläuft. Warum wir RDKit, OPSIN und Semantic Scholar gewählt haben.
Was ist das Critic Gate?
Das Critic Gate ist eine deterministische Verifikationsschicht, die jede chemische Antwort, die Cheemly erzeugt, prüft, bevor sie dem Nutzer angezeigt wird. Anders als das Sprachmodell, das die Antwort entwirft, führt das Gate keine KI aus – es ist schlichter, prüfbarer Code, der ein Ergebnis entweder durchlässt oder zur Überarbeitung zurückschickt. Seine Aufgabe ist es, halluzinierte Strukturen und erfundene Zitate unmöglich zu machen.
Warum ein eigenständiges Gate
Große Sprachmodelle sind sprachlich gewandt, aber bei exakten Fakten unzuverlässig: Sie erfinden plausibel aussehende SMILES und zitieren Arbeiten, die es nicht gibt. Das lässt sich nicht beheben, indem man das Modell bittet, „vorsichtig zu sein“. Die einzige dauerhafte Lösung besteht darin, die Ausgabe gegen die Grundwahrheit mit Software zu prüfen, die keinen Anreiz hat zu gefallen. Diese Trennung – ein gewandter Schreiber plus ein strenger Prüfer – ist der Kern des Designs von Cheemly.
Die vier Prüfungen
- SMILES-Gültigkeit: RDKit parst jede Struktur. Was sich nicht parsen lässt, wird nicht ausgeliefert.
- Atomerhaltung: Bei jeder Reaktion müssen die Atome der Edukte gleich den Atomen der Produkte sein. Eine Reaktion, die Atome verliert oder erfindet, wird abgelehnt.
- Namens-Round-Trip: OPSIN wandelt IUPAC-Namen in Strukturen und zurück um; eine Abweichung kennzeichnet einen Benennungsfehler.
- Existenz von Zitaten: Jeder DOI wird gegen Semantic Scholar geprüft. Eine Arbeit, die nicht verifiziert werden kann, wird entfernt.
Was bei einem Fehlschlag geschieht
Eine fehlgeschlagene Prüfung erzeugt keine Fehlermeldung für den Nutzer. Stattdessen wird die Antwort mit dem konkreten Fehlschlag als Rückmeldung an den Schreiber zurückgeleitet und – falls nötig – an ein stärkeres Modell eskaliert. Nach einer begrenzten Anzahl von Wiederholungen wird alles, was weiterhin fehlschlägt, mit einem Hinweis auf geringe Konfidenz angezeigt, statt als Tatsache präsentiert zu werden. Der Nutzer erhält niemals stillschweigend eine falsche Struktur.
Warum das der Burggraben ist
Die Atomerhaltung ist ein Naturgesetz, keine stilistische Vorliebe. Sie als hartes Gate zu codieren bedeutet, dass die Untergrenze von Cheemly durch die Chemie festgelegt wird und nicht dadurch, wie selbstbewusst das Modell klingt. Das ist der Unterschied zwischen einem Chemie-Werkzeug und einem Chatbot, der über Chemie redet.
Häufig gestellte Fragen
- Verwendet das Critic Gate KI?
- Nein. Das Critic Gate ist deterministischer Code – RDKit-Parsing, Atombilanz-Arithmetik, OPSIN-Round-Trips und Zitatabfragen. Es hat kein Sprachmodell und keine Zufälligkeit, daher sind seine Urteile reproduzierbar und prüfbar.
- Was geschieht, wenn eine Antwort das Critic Gate nicht besteht?
- Die Antwort wird mit dem konkreten Fehlschlag als Rückmeldung an den Schreiber zurückgeschickt und kann an ein stärkeres Modell eskaliert werden. Nach einer begrenzten Anzahl von Wiederholungen wird alles, was weiterhin fehlschlägt, mit einem Hinweis auf geringe Konfidenz angezeigt, statt als Tatsache präsentiert zu werden.
- Warum kann ChatGPT das nicht einfach auch?
- Generische LLMs erzeugen Chemie probabilistisch und haben keine eingebaute Grundwahrheitsprüfung, sodass sie plausible, aber falsche Strukturen und Zitate ausliefern. Ein deterministisches Verifikations-Gate ist eine architektonische Entscheidung, kein Prompt, den man hinzufügen kann.