Eleştiri Kapısı v1: yanlış atomları nasıl yayınlamayı bıraktık
cheemly'nin ürettiği her kimya cevabında çalışan dört aşamalı doğrulama zincirinin arkası. RDKit, OPSIN ve Semantic Scholar'ı neden seçtik — ve ne düzeltmek istiyoruz.
Critic Gate nedir?
Critic Gate, Cheemly’nin ürettiği her kimya cevabını, kullanıcıya gösterilmeden önce kontrol eden deterministik bir doğrulama katmanıdır. Cevabı taslaklaştıran dil modelinin aksine, bu kapı hiçbir yapay zekâ çalıştırmaz — bir sonucu ya geçiren ya da yeniden yazılmak üzere geri gönderen, sade ve denetlenebilir koddur. Görevi, halüsinasyon ürünü yapıları ve uydurma atıfları yayımlanamaz kılmaktır.
Neden ayrı bir kapı
Büyük dil modelleri akıcıdır ama kesin gerçekler konusunda güvenilmezdir: gerçeğe benzeyen SMILES uydururlar ve var olmayan makaleleri kaynak gösterirler. Bunu modele "dikkatli ol" diyerek düzeltemezsiniz. Tek kalıcı çözüm, çıktıyı sizi memnun etme gibi bir güdüsü olmayan bir yazılımla yer gerçeğine (ground truth) karşı doğrulamaktır. Bu ayrım — akıcı bir yazar artı katı bir denetleyici — Cheemly’nin tasarımının özüdür.
Dört kontrol
- SMILES geçerliliği: RDKit her yapıyı ayrıştırır. Ayrıştırılamıyorsa, yayımlanmaz.
- Atom korunumu: Herhangi bir reaksiyonda reaktant atomları ürün atomlarına eşit olmalıdır. Atom kaybeden veya uyduran bir reaksiyon reddedilir.
- Ad gidiş-dönüşü: OPSIN, IUPAC adlarını yapılara çevirir ve geri çevirir; bir uyuşmazlık bir adlandırma hatasını işaretler.
- Atıf varlığı: Her DOI, Semantic Scholar’a karşı kontrol edilir. Doğrulanamayan bir makale kaldırılır.
Başarısızlık durumunda ne olur
Başarısız bir kontrol, kullanıcıya bir hata mesajı üretmez. Bunun yerine cevap, belirli başarısızlık geri bildirim olarak verilerek yazara geri yönlendirilir ve — gerekirse — daha güçlü bir modele yükseltilir. Sınırlı sayıda yeniden deneme sonrasında hâlâ başarısız olan her şey, gerçek olarak sunulmak yerine düşük güven rozetiyle gösterilir. Kullanıcı asla sessizce yanlış bir yapı almaz.
Bu neden bir hendek (moat)
Atom korunumu bir stil tercihi değil, bir doğa yasasıdır. Bunu katı bir kapı olarak kodlamak, Cheemly’nin tabanının modelin ne kadar kendinden emin göründüğüyle değil, kimyayla belirlendiği anlamına gelir. Bir kimya aracı ile kimya hakkında konuşan bir sohbet botu arasındaki fark işte budur.
Sıkça sorulan sorular
- Critic Gate yapay zekâ kullanır mı?
- Hayır. Critic Gate deterministik koddur — RDKit ayrıştırması, atom denkliği aritmetiği, OPSIN gidiş-dönüşleri ve atıf sorgulamaları. Dil modeli ya da rastgelelik içermez; bu yüzden verdiği kararlar yinelenebilir ve denetlenebilirdir.
- Bir cevap Critic Gate’i geçemediğinde ne olur?
- Cevap, belirli başarısızlık geri bildirim olarak verilerek yazara geri gönderilir ve daha güçlü bir modele yükseltilebilir. Sınırlı sayıda yeniden deneme sonrasında hâlâ başarısız olan her şey, gerçek olarak sunulmak yerine düşük güven rozetiyle gösterilir.
- ChatGPT bunu neden yapamıyor?
- Genel LLM’ler kimyayı olasılıksal olarak üretir ve yerleşik bir yer-gerçeği kontrolüne sahip değildir; bu yüzden inandırıcı ama yanlış yapılar ve atıflar yayımlarlar. Deterministik bir doğrulama kapısı, ekleyebileceğiniz bir istem (prompt) değil, mimari bir tercihtir.