Это инженерный разбор архитектуры программного контура, а не медицинская рекомендация и не описание способа постановки диагноза
Когда генеративная модель работает с обычным FAQ, ошибка может закончиться неточной формулировкой
В чувствительном сценарии цена ошибки выше. Поэтому опасно строить процесс по принципу: «дадим модели анкету и попросим её самой решить, всё ли безопасно»
В самодиагностике РЕТОН я пошёл от обратного: модель получает уже определённые системой границы и не имеет права их ослаблять
Риск вычисляется до генерации текста
Сначала работает детерминированный слой
Он анализирует структурированные ответы анкеты и известные правила, после чего присваивает состояние риска и формирует ограничения для следующего этапа
То есть генеративная модель не начинает с чистого листа
Она получает контракт примерно такого смысла:
- текущий уровень риска уже определён
- определённые действия запрещены
- при необходимости нужно направить человека к специалисту
- текст можно объяснить и сделать понятнее, но нельзя понизить ограничение
Почему правила и модель лучше не смешивать
Большая языковая модель полезна там, где нужен естественный текст и понимание свободного ввода
Но жёсткое правило типа «при этом флаге нельзя давать обычную рекомендацию» надёжнее описать обычным кодом
Так его можно:
- прочитать
- протестировать
- версионировать
- воспроизвести
- проверить на конкретном кейсе
Модель же остаётся в той части, где её сильные стороны действительно полезны
После модели стоит ещё один gate
Даже правильный промпт не является гарантией
Поэтому после генерации ответ снова проходит контроль. Если текст конфликтует с детерминированным решением, приоритет остаётся у safety-слоя
Это важный архитектурный принцип: модель может повышать осторожность, но не должна самостоятельно отменять более строгий системный вердикт
Свободный диагноз нельзя обрабатывать только точным совпадением
Пользователь не обязан выбирать все состояния из идеального справочника. Часть информации приходит обычным текстом
Поэтому поверх структурированных противопоказаний есть нормализация и набор проверяемых текстовых правил для потенциально опасных состояний
Это не попытка «диагностировать человека по ключевым словам». Задача гораздо уже — заметить сигнал, при котором системе безопаснее ограничить автоматическую рекомендацию
Regression suite здесь важнее красивого демо
Для такого продукта недостаточно показать три удачных примера в браузере
Нужен набор фиксированных сценариев:
- безопасный случай
- отсутствие подтверждённого диагноза
- явное противопоказание
- риск в свободном тексте
- конфликт между генерацией и системным ограничением
После изменений эти кейсы должны снова проходить автоматически
Именно поэтому вокруг контура есть отдельные safety regression и quality smoke проверки
ИИ здесь не должен быть главным героем
Мне нравится этот проект именно потому, что он переворачивает привычное представление об ИИ-функции
Модель здесь не «решает всё». Она работает внутри системы правил, данных и проверок
Это делает продукт менее эффектным в рекламной формулировке, зато гораздо более инженерным
Где ещё применим такой принцип
Подход полезен не только в медицинских сценариях
Та же схема работает в финансах, юридических процессах, промышленной безопасности и любых задачах, где существуют ограничения, которые нельзя отдавать вероятностной модели
Сначала система определяет твёрдые границы. Потом ИИ помогает внутри них