AI ve Otomasyon
Guardrail
Bir modelin veya otomasyonun güvenli sınırlar içinde kalmasını sağlayan kural, filtre veya kontrol mekanizması.
Hızlı bakış Sistemin çizgiyi aşmamasını sağlayan güvenlik korkuluğu.
Bu maddeyi kısa ve net hatırlamak istersen başlangıç noktası burası.
Mini örnek Dış aksiyon sınırı
Bir ajanın kullanıcı onayı olmadan mesaj göndermemesini zorunlu kılan kural bir guardrail örneğidir.
Kısa tanım
Guardrail, sistemin riskli, istenmeyen veya sınır dışı davranışlara kaymasını önleyen kontrol katmanıdır.
Basit anlatım
Dağ yolundaki bariyer gibi. Direksiyon sende olabilir ama uçuruma sapmaman için kenarda koruyucu çizgi bulunur.
Ne zaman kullanılır?
- Yetkili agent sistemleri tasarlarken
- Dış aksiyon, veri erişimi veya otomasyon riski varsa
- İnsan onayı ve güvenlik sınırlarını somutlaştırmak istediğinde
Dikkat edilmesi gerekenler
- Sadece tek bir guardrail’e güvenmek zayıf kalabilir
- Fazla sert sınırlar faydalı işleri de gereksiz engelleyebilir
- Kuralların güncel risklere göre gözden geçirilmesi gerekir
İlgili başlıklar
human-in-the-loop, sandbox, prompt injection