@Mira - Trust Layer of AI , я выпустил обновление модели в четверг вечером и проснулся с тремя сердитыми сообщениями в нашем внутреннем чате. Одна и та же подсказка. Одна и та же версия модели. Разные ответы. Не стилистически разные. Фактически разные.
Один ответ ссылался на статью 2021 года. Другой утверждал, что набор данных закончился в 2019 году. Третий выдумал источник, которого не существовало. Ничего катастрофического. Но достаточно, чтобы заставить меня сомневаться, строим ли мы продукт на песке.
Это был первый раз, когда я попробовал подключить наш канал вывода в Mira Network.
Я не принял весь стек. Только уровень проверки. Я хотел одно: детерминизм вокруг утверждений. Не идеальная правда. Просто последовательность, которую можно было бы опросить.
Интеграция заняла два послеобеденных времени. Интересная часть заключалась не в подключении API. А в наблюдении, как задержка возросла с 1.8 секунд до 3.4 секунд на запрос. Сначала я думал, что мы что-то сломали. Потом я понял, что происходит. Мы больше не просто генерировали ответ. Мы генерировали утверждение, направляли его через распределенные проверяющие и получали агрегированный балл уверенности с ссылками на происхождение.
3.4 секунды казались медленными. Пока я не сравнил журналы.
Перед Mira около 11 процентов ответов в нашем тестовом наборе содержали хотя бы одно неподтвержденное фактическое утверждение при ручной проверке. После добавления уровня проверки это число снизилось до 2.6 процента на 1,200 подсказок. Не ноль. Но разница проявилась в заявках на поддержку почти мгновенно. Меньше тем “откуда это взялось?” Больше разговоров об интерпретации вместо исправления.
Этот сдвиг изменил мой рабочий процесс больше, чем я ожидал.
Ранее отладка означала настройку подсказок. Добавить ограничения. Добавить цитаты. Попробовать снова. Теперь отладка означала проверку разногласий проверяющих. Mira выявила, где консенсус раскололся. Если три узла согласны с утверждением, а один не согласен, я мог проследить, почему. Иногда узел меньшинства был на самом деле прав. Это заставило меня думать о правде как о менее бинарной и больше как о взвешенном согласии среди независимых оценщиков.
Это звучит абстрактно. На практике это означало, что я прекратил спорить с моделью и начал допрашивать граф проверки.
Тем не менее, существует трение. Стоимость возросла примерно на 18 процентов на тысячу запросов, когда мы учли вознаграждения для проверяющих. Не катастрофично, но заметно в больших масштабах. И иногда система отмечает низкую уверенность в вещах, которые очевидно правильны для человека. Базовая математика. Широко известные даты. Когда механизмы консенсуса применяются к простым истинам, вы ощущаете накладные расходы.
И децентрализация - это не магия. Проверяющие все еще являются экономическими актерами. Стимулы имеют значение. В одном стресс-тесте мы смоделировали враждебную координацию среди подмножества узлов. Сеть не рухнула, но баллы уверенности искажались перед перераспределением. Это сказало мне что-то некомфортное. Программируемая истина все еще зависит от экономической согласованности. Она просто делает зависимости видимыми.
То, что изменилось для меня, не было тем, что Mira "решила" галлюцинации. Она этого не сделала. То, что изменилось, это подотчетность. Каждое утверждение теперь несет след. Вероятность. Запись о том, кто согласился.
Когда я сейчас выпускаю обновления, я проверяю дельты уверенности так, как раньше проверял длину ответа. Мне меньше важна красноречивость и больше важна эпистемическая стабильность. Это странная метрика для оптимизации. Сложнее продавать. Проще спать.
Некоторые дни я скучаю по скорости старого канала. Чистые ответы за 1.8 секунды. Но я не скучаю по неопределенности, не зная, какая часть ответа была тихо придумана.
Истина не является совершенно программируемой. Пока нет. Но принуждение ее через сеть, которая должна соглашаться вслух, меняет то, как вы проектируете системы. Вы начинаете строить для оспаривания, а не для убеждения.
Я все еще не уверен, куда это ведет. Но я знаю, что не хочу возвращаться к молчаливым предположениям.