# AI CONSILIUM ## Презентация платформы: функции, отличия от аналогов и научное обоснование *Документ описывает только то, что реально реализовано в коде платформы, и опирается только на существующие, проверяемые научные публикации. Каждое утверждение о преимуществах сопровождается либо ссылкой на конкретную функцию продукта, либо ссылкой на публикацию с указанием авторов, года и издания. Раздел 4.8 отдельно перечисляет то, что платформа НЕ делает и чего мы НЕ утверждаем.* --- ## 1. Резюме **AI CONSILIUM** — платформа коллективного принятия решений, в которой один и тот же вопрос параллельно и **независимо** анализируют до двенадцати ИИ-агентов. Каждый агент — это отдельная профессиональная роль (архитектор, скептик-критик, синтезатор, маркетолог, финансовый аудитор, аудитор безопасности, UX-исследователь, аналитик данных, юрист-комплаенс) со своим системным промптом, своей моделью и своей изолированной историей диалога. Работа идёт по фиксированному протоколу из четырёх шагов: 1. **Независимый опрос** — все активные агенты получают один и тот же запрос одновременно и отвечают, не видя ответов друг друга. 2. **Перекрёстная проверка** — отдельной кнопкой каждый агент получает выводы коллег и обязан проверить их со своей профессиональной позиции. 3. **Синтез** — агент-синтезатор сводит консенсус и противоречия в единую рекомендацию. 4. **Решение принимает человек** — при необходимости с привлечением живого эксперта из каталога. Ключевое отличие от «спросить несколько чат-ботов»: **порядок шагов и разнородность участников здесь не украшение, а предмет математики**. Разделение на «сначала независимо, потом обсуждение» и намеренный разброс агентов по 11 семействам моделей от 11 разных производителей трёх регионов мира — прямые следствия результатов, опубликованных в PNAS, ICML, ICLR, EMNLP и Management Science. Полная библиография — в разделе 8. --- ## 2. Как это работает ### 2.1 Протокол консилиума | Шаг | Что делает платформа | Где в интерфейсе | |---|---|---| | 1. Постановка задачи | Один запрос (плюс файл и/или ссылка-источник) уходит массивом параллельных вызовов ко всем активным агентам | Поле ввода, кнопки «скрепка», «ссылка», «микрофон» | | 2. Независимые мнения | Каждый агент отвечает в своём окне, не получая ответов остальных | Сетка 1 / 4 / 8 / 12 окон | | 3. Перекрёстная проверка | Каждому ответившему агенту передаются последние ответы всех остальных с требованием: с чем согласен, где видит ошибки, что добавит | Кнопка «Перекрёстная проверка» (активна при ≥ 2 ответах) | | 4. Синтез | Роль «Синтезатор» по своему промпту находит консенсус и противоречия и формулирует взвешенную рекомендацию | Окно агента-синтезатора | | 5. Человеческая экспертиза | Заявка на живого эксперта для рецензии выводов консилиума | Страница «Эксперт» | ### 2.2 Состав по умолчанию Двенадцать преднастроенных ролей намеренно распределены между разными производителями моделей: | Роль | Модель по умолчанию | Производитель | |---|---|---| | Архитектор решений | claude-sonnet-5 | Anthropic 🇺🇸 | | Скептик-критик | gpt-5.2 | OpenAI 🇺🇸 | | Синтезатор | claude-opus-4-5 | Anthropic 🇺🇸 | | Маркетолог | gemini-2.5-pro | Google 🇺🇸 | | Финансовый аудитор | gpt-4.1 | OpenAI 🇺🇸 | | Аудитор безопасности | kimi-k2.5 | Moonshot AI 🇨🇳 | | UX-исследователь | mistral-small-2603 | Mistral 🇪🇺 | | Аналитик данных | deepseek-v4-pro | DeepSeek 🇨🇳 | | Юрист-комплаенс | claude-haiku-4-5 | Anthropic 🇺🇸 | Любую роль можно переименовать, переписать её системный промпт и пересадить на любую из 26 доступных моделей. --- ## 3. Полный перечень функций ### 3.1 Ядро: мультиагентный консилиум - **Сетка окон 1 / 4 / 8 / 12.** Раскладка задаёт размер консилиума. «4» — четыре самые сильные модели одновременно (создатель, критик, синтезатор, маркетолог); «8» добавляет деньги, безопасность, UX и данные; «12» — полный состав с правом, продуктом, инженерией и этикой. - **Двенадцать преднастроенных профессиональных ролей** с готовыми системными промптами. - **Кнопка «Роли: выкл».** Отключает роли-личности: каждая модель отвечает сама за себя, от своего имени — чистое сравнение моделей без назначенных профессий. - **Полная изоляция агентов.** У каждого своя роль, своя модель, свой ключ API и своя история диалога — агент физически не получает контекст соседей, пока не запущена перекрёстная проверка. - **Один запрос — всем сразу.** Отправка формирует массив параллельных запросов ко всем активным окнам; поле ввода очищается только после того, как все запросы сформированы. - **Перекрёстная проверка по кнопке.** Каждому агенту передаётся дайджест последних ответов коллег с явной инструкцией: 1) с чем согласен, 2) где видит ошибки или упущения, 3) что добавит. Кнопка блокируется, пока агенты отвечают, и пока ответов меньше двух. Проверку можно запускать повторно — это даёт многораундовое обсуждение под контролем человека. - **26 моделей, 11 семейств, 11 производителей, 3 региона:** Claude (Anthropic), GPT (OpenAI), Gemini (Google), Llama (Meta), Grok (xAI) — 🇺🇸; DeepSeek, Qwen (Alibaba), Kimi (Moonshot AI), GLM (Zhipu AI), MiniMax — 🇨🇳; Mistral — 🇪🇺. - **Настройки каждого агента:** имя роли, системный промпт (личность), модель, собственный ключ API, кнопка сброса к пресету. - **Режим «Одна модель».** Одна модель и один ключ API обслуживают все окна, но каждое окно сохраняет свою роль и свою историю: одна модель ведёт себя как разные личности. Удобно, когда есть ключ только одного вендора. - **Работа без ключей.** По умолчанию все вызовы идут через Netlify AI Gateway — регистрация у провайдеров моделей не нужна. Свои ключи опциональны: при их наличии запрос идёт напрямую к Anthropic / OpenAI / Google / OpenRouter. - **Правила достоверности, вшитые в каждый запрос.** К системному промпту любого агента (включая переписанные пользователем) автоматически добавляются пять обязательных требований: 1. помечать ключевые выводы уровнем уверенности `[уверенность: высокая | средняя | низкая]`; 2. приводить в конце блок «Источники» с автором/организацией, названием и ссылкой; 3. помечать воспроизведённые по памяти ссылки как «— проверить ссылку»; 4. отдавать приоритет материалам, приложенным пользователем, и цитировать их; 5. при недостатке данных прямо перечислять, каких данных не хватает, вместо домыслов. - **Технические лимиты запроса:** до 40 последних сообщений истории, до 24 000 символов на сообщение, системный промпт до 8 000 символов. - **Понятные ошибки вместо «сырых» сбоев провайдера:** отдельные сообщения для отклонённого ключа (401/403), превышенного лимита запросов (429), неподдерживаемой модели, пустого ответа модели; текст ошибки провайдера обрезается и не пробрасывается целиком. ### 3.2 Ввод данных и источники - **Текстовый запрос** с отправкой по Enter. - **Прикрепление текстового файла** (до 200 КБ, в запрос попадает до 100 000 символов). Файл уходит всем активным агентам — все эксперты работают с одной и той же доказательной базой. - **Прикрепление ссылки-источника.** Страница загружается на сервере, очищается от разметки (скрипты, стили, комментарии, теги), декодируются HTML-сущности, результат передаётся агентам как файл. Читается до 800 КБ ответа, агентам отдаётся до 60 000 символов, таймаут 15 секунд. Защита от SSRF: только http/https, блокировка localhost, приватных диапазонов (10/8, 172.16/12, 192.168/16, 169.254/16), IPv6-loopback и metadata-хостов, повторная проверка адреса после редиректов, отказ для нетекстовых типов контента. - **Голосовой ввод** (Web Speech API, ru-RU) с индикацией записи. ### 3.3 Проекты и аккаунты - **Автосохранение проекта.** Снимок переписки всех агентов сохраняется автоматически после каждого ответа; имя проекта берётся из первого запроса. - **Список проектов в сайдбаре:** переключение, переименование, удаление, защита от переключения, пока агенты отвечают. - **Гостевой режим:** проекты хранятся в localStorage браузера. - **Облачная синхронизация для вошедших:** проект целиком (раскладка + переписка всех агентов) сохраняется в Netlify Database (PostgreSQL); отправка с задержкой 1,5 с после изменения; при входе локальные и серверные проекты сливаются по времени изменения, а локальные проекты, которых нет на сервере, выгружаются в облако. Ограничение — 2 МБ на проект. - **Проверка владельца на сервере:** нельзя прочитать, перезаписать или удалить проект другого пользователя; запрос без входа получает 401. - **Аккаунты (Netlify Identity):** регистрация, вход, подтверждение почты по ссылке из письма, восстановление пароля, приглашения; понятные русские тексты ошибок. - **Приватность ключей:** пользовательские ключи API хранятся только в браузере и передаются на сервер лишь как параметр конкретного вызова модели; на сервере они не сохраняются. ### 3.4 Живой рейтинг моделей (страница «Рейтинг») - **Объективный Elo-рейтинг** по данным Arena (LMArena) — независимого лидерборда на основе слепых парных сравнений, в которых голосуют люди. - **Четыре категории:** текст (с контролем стиля), веб-разработка, зрение, поиск; до 100 моделей в каждой. - **Данные по каждой модели:** место, название, организация, Elo, число голосов, цена за 1 млн входных и выходных токенов, размер контекста, ссылка на модель. - **Фильтры:** все страны, 🇺🇸 США, 🇨🇳 Китай, 🇪🇺 Европа и особый фильтр **«В Консилиуме»** — показывает только те модели, которые доступны на платформе, чтобы сразу видеть, на какую модель стоит пересадить агента. - **Карточка лидера** с текущим первым местом и его показателями. - **Кеширование и отказоустойчивость:** данные кешируются в Netlify Blobs на 6 часов; если источник недоступен, отдаётся последний удачный снимок с честной пометкой «источник временно недоступен, показан последний снимок». ### 3.5 Живой эксперт-человек (страница «Эксперт») - **Каталог 35 специалистов и организаций фундаментального уровня:** экономика (9), финансы (5), IT и ИИ (9), право и консалтинг (8), венчурные инвестиции (4); из них 27 персон и 8 юрлиц. - **Фильтры по сферам** и карточки с аффилиацией и ссылкой на публичный профиль. - **Честный дисклеймер:** это шорт-лист для приглашения, составленный по публичным заслугам; эксперты не аффилированы с платформой, по заявке организуется обращение к выбранному эксперту или подбирается доступный специалист сопоставимого уровня. - **Форма заявки** (Netlify Forms, с honeypot-защитой от ботов): выбор эксперта, тип заказчика (частное лицо / компания / инвестор), формат работы (разовая консультация, письменная рецензия выводов ИИ-консилиума, экспертиза проекта для инвестора, сопровождение), ориентир бюджета, контакты, описание задачи. ### 3.6 Интерфейс и платформа - **Две темы:** радикально чёрная (по умолчанию) и светлая; выбор сохраняется, применяется до первой отрисовки — без «вспышки» неверной темы. - **Сворачиваемый сайдбар**, адаптивная сетка окон, единая система штриховых SVG-иконок, полностью русскоязычный интерфейс. - **Панель «Состав консилиума»** — обзор всех двенадцати ролей с их моделями и быстрым переходом в настройки любого агента. - **Панель «О проекте»** с описанием методологии прямо в приложении. - **Serverless-архитектура на Netlify:** статический фронтенд, четыре функции (`/api/consilium`, `/api/rankings`, `/api/fetch-source`, `/api/projects`), PostgreSQL через Drizzle ORM, Netlify Blobs для кеша, Netlify Identity для аккаунтов, Netlify Forms для заявок, Netlify AI Gateway для доступа к моделям без ключей. --- ## 4. Математический и научный фундамент Это ключевой раздел. Архитектура платформы — не набор произвольных решений: каждый её элемент воспроизводит процедуру, у которой есть либо строгая математическая формулировка, либо экспериментальное подтверждение в рецензируемой литературе. ### 4.1 Почему N независимых экспертов сильнее одного: теорема Кондорсе (1785) Классическая **теорема о жюри Кондорсе** (Nicolas de Condorcet, *Essai sur l'application de l'analyse à la probabilité des décisions rendues à la pluralité des voix*, 1785). Если каждый из N участников независимо даёт верный ответ с вероятностью p, то вероятность верного большинства равна ``` P_N = Σ_{k > N/2} C(N,k) · p^k · (1−p)^(N−k) ``` и при p > 1/2 монотонно возрастает по N, стремясь к 1. Арифметика формулы для нашего случая (расчёт по формуле выше — это простое следствие, а не эмпирическое измерение продукта): | Индивидуальная точность p | N = 1 | N = 3 | N = 9 | |---|---|---|---| | 0,6 | 0,600 | 0,648 | 0,733 | | 0,7 | 0,700 | 0,784 | **0,901** | | 0,8 | 0,800 | 0,896 | **0,980** | **Два условия теоремы важнее самого вывода:** (1) p > 1/2 — участники должны быть компетентны; (2) **независимость голосов**. При положительной корреляции ошибок выигрыш падает, а при полной корреляции исчезает совсем; этот случай разобран у K. Ladha, «The Condorcet Jury Theorem, Free Speech, and Correlated Votes», *American Journal of Political Science*, 1992. **Что из этого сделано в продукте:** независимость первого раунда обеспечивается технически (агент не получает ответы коллег), а борьба с корреляцией — намеренным разнесением ролей по разным производителям моделей. Раскладки «3» и «9» — нечётные: большинство всегда однозначно, без ничьих. ### 4.2 Диверсификация ошибок: дисперсия среднего коррелированных оценок Стандартный результат теории ансамблей: если n оценок имеют дисперсию σ² каждая и попарную корреляцию ρ, то дисперсия их среднего равна ``` Var(среднее) = ρ·σ² + (1−ρ)·σ²/n ``` Это выражение — основа анализа bagging и случайных лесов (L. Breiman, «Random Forests», *Machine Learning*, 2001; T. Hastie, R. Tibshirani, J. Friedman, *The Elements of Statistical Learning*, 2-е изд., § 15.2). Относительная дисперсия среднего (в долях σ²): | Корреляция ошибок ρ | n = 1 | n = 3 | n = 9 | |---|---|---|---| | 0,0 | 1,000 | 0,333 | **0,111** | | 0,3 | 1,000 | 0,533 | 0,378 | | 0,6 | 1,000 | 0,733 | 0,644 | | 0,9 | 1,000 | 0,933 | **0,911** | Вывод, который прямо определяет дизайн платформы: **при ρ → 1 количество участников почти не помогает**. Двенадцать копий одной модели дают почти столько же, сколько одна. Ценность создаёт не число агентов, а низкая корреляция их ошибок. **Это не гипотеза — для современных LLM корреляция ошибок измерена.** S. Goel, J. Struber, I. A. Auzina и соавторы, «Great Models Think Alike and this Undermines AI Oversight», *ICML 2025* (arXiv:2502.04313), вводят метрику **CAPA** (Chance Adjusted Probabilistic Agreement) — сходство моделей по пересечению их ошибок — и показывают три вещи: судья-LLM завышает оценки моделям, похожим на него самого; выигрыш от контроля слабой моделью сильной падает с ростом сходства; и, главное, **с ростом возможностей моделей их ошибки становятся всё более похожими**, что создаёт риск коррелированных отказов. **Что из этого сделано в продукте:** роли по умолчанию распределены между Anthropic, OpenAI, Google, Moonshot AI, DeepSeek и Mistral — моделями разных школ обучения и разных стран; доступны 26 моделей 11 производителей; итоговое решение остаётся за человеком, а не за моделью-судьёй. ### 4.3 Разложение ошибки ансамбля: E = Ē − Ā A. Krogh, J. Vedelsby, «Neural Network Ensembles, Cross Validation, and Active Learning», *Advances in Neural Information Processing Systems 7*, MIT Press, 1995 (конференция NIPS 1994), доказали тождество (для квадратичной ошибки): ``` E = Ē − Ā ``` — ошибка ансамбля равна средней ошибке участников минус «неоднозначность» (ambiguity, т. е. разброс их мнений). Поскольку Ā ≥ 0, ансамбль **не может быть хуже среднего участника**, а рост разногласий напрямую уменьшает ошибку ансамбля. Тот же результат в языке коллективного интеллекта известен как **теорема о разнообразии предсказаний** (S. E. Page, *The Difference*, Princeton University Press, 2007): ``` γ = ε − δ ``` где γ — квадратичная ошибка коллективной оценки, ε — средняя квадратичная ошибка участников, δ — разнообразие (дисперсия их оценок). **Честная оговорка, которую мы обязаны привести:** это математическое тождество, по сути перегруппировка разложения bias–variance, а не причинно-следственный закон. ε и δ нельзя менять независимо друг от друга, поэтому «больше разнообразия» не является бесплатным улучшением — критика этой интерпретации опубликована (см., например, arXiv:2307.04709, arXiv:2008.01485). Именно поэтому платформа комбинирует разнообразие с двумя другими элементами: компетентностью каждой роли (выбор сильной модели через страницу рейтинга) и обязательным человеческим решением. ### 4.4 Почему первый раунд обязательно независимый Это самое недооценённое проектное решение платформы, и у него есть прямое экспериментальное обоснование. **J. Lorenz, H. Rauhut, F. Schweitzer, D. Helbing, «How social influence can undermine the wisdom of crowd effect», *PNAS* 108(22): 9020–9025, 2011.** В эксперименте (N = 144) показано, что **даже слабое социальное влияние подрывает эффект мудрости толпы**: доступ к оценкам других участников снижает разнообразие мнений, не снижая коллективной ошибки. Авторы подчёркивают, что мудрость толпы — статистический феномен, опирающийся на **агрегирование независимых** оценок. Честно отметим научный контекст: у работы есть опубликованные возражения (S. Farrell, *PNAS*, 2011) и есть работы, описывающие сетевые условия, при которых влияние всё же улучшает точность (J. Becker, D. Brackbill, D. Centola, *PNAS*, 2017). Именно поэтому в Консилиуме влияние не запрещено, а **отложено и структурировано** — во второй раунд. Классические источники того же эффекта у людей: эксперименты С. Аша по конформизму (S. Asch, 1951, 1956) и эффект якорения (A. Tversky, D. Kahneman, «Judgment under Uncertainty: Heuristics and Biases», *Science*, 1974). **Для LLM-агентов проблема тоже описана:** Y. Zhang и соавторы, «Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View» (arXiv:2310.02124), показывают у LLM-агентов поведение, аналогичное конформизму, при обсуждении в группе. **Метод Дельфи — прямой прототип нашего протокола.** N. C. Dalkey, O. Helmer, «An Experimental Application of the Delphi Method to the Use of Experts», *Management Science* 9(3): 458–467, 1963 (исходно RAND, RM-727/1, 1962). Метод был создан в RAND именно как замена очного обсуждения, страдающего от влияния доминирующих участников, «шума» и давления к конформизму: эксперты опрашиваются раздельно, серией опросников, **с контролируемой обратной связью** между раундами. Последовательность «независимые мнения → контролируемый обмен выводами → синтез» в AI CONSILIUM — это двухраундовый Дельфи с контролируемой обратной связью, а не групповой чат. ### 4.5 Медицинская аналогия — с реальными числами Название «консилиум» выбрано не по аналогии, а по подтверждённому механизму. **R. Kurvers, S. Herzog, R. Hertwig, J. Krause, P. Carney, A. Bogart, G. Argenziano, I. Zalaudek, M. Wolf, «Boosting medical diagnostics by pooling independent judgments», *PNAS* 113(31): 8777–8782, 2016.** На реальных данных — **более 140 врачей и более 20 000 диагнозов** в двух областях (диагностика рака груди и рака кожи) — показано: агрегирование **независимых** суждений нескольких врачей превосходит лучшего врача в группе — при условии, что точность участников относительно **сопоставима**. Дополнительно установлено, что уверенность диагноста положительно связана с чувствительностью и специфичностью — на всех уровнях квалификации. Смежные результаты той же группы: M. Wolf и соавторы, «Collective intelligence meets medical decision-making: the collective outperforms the best radiologist», *PLoS ONE*, 2015; R. Kurvers и соавторы, «Detection accuracy of collective intelligence assessments for skin cancer diagnosis», *JAMA Dermatology*, 2015. **Два следствия для продукта, оба реализованы:** (1) участники должны быть сопоставимой силы — поэтому в платформу встроена страница объективного рейтинга с фильтром «В Консилиуме», чтобы любого агента можно было пересадить на модель актуального уровня; (2) уверенность участника — полезный сигнал, поэтому уровень уверенности обязателен в каждом ответе. ### 4.6 Доказательства именно для LLM: это не наша выдумка Каждый элемент протокола существует в литературе по языковым моделям как отдельно измеренный приём. **(а) Агрегирование независимых ответов работает.** X. Wang и соавторы, «Self-Consistency Improves Chain of Thought Reasoning in Language Models», *ICLR 2023* (arXiv:2203.11171): вместо одного «жадного» ответа сэмплируется набор независимых цепочек рассуждений, и выбирается самый согласованный ответ. Абсолютный прирост точности на PaLM-540B: **GSM8K +17,9 %**, SVAMP +11,0 %, AQuA +12,2 %, StrategyQA +6,4 %, ARC-challenge +3,9 %. **(б) Больше независимых агентов — лучше результат, но при условии разнообразия.** J. Li, Q. Zhang, Y. Yu, Q. Fu, D. Ye, «More Agents Is All You Need», *TMLR*, 2024 (arXiv:2402.05120): простое «сэмплирование и голосование» масштабируется с числом агентов; выигрыш тем больше, чем сложнее задача (на MATH относительный прирост существенно выше, чем на GSM8K для Llama2-13B); эффект насыщается, когда дополнительные агенты — клоны с теми же слепыми зонами. Это ещё один аргумент за разнородность моделей. **(в) Перекрёстное обсуждение снижает галлюцинации.** Y. Du, S. Li, A. Torralba, J. B. Tenenbaum, I. Mordatch, «Improving Factuality and Reasoning in Language Models through Multiagent Debate», *ICML 2024*, PMLR 235: 11733–11763 (arXiv:2305.14325): несколько экземпляров языковой модели предлагают ответы и обсуждают их несколько раундов; это существенно улучшает математическое и стратегическое рассуждение и **повышает фактическую достоверность, снижая число ошибочных ответов и галлюцинаций**. Это ровно то, что делает кнопка «Перекрёстная проверка». **(г) Архитектура «много предложивших + синтезатор» проверена и превосходит одиночную модель.** J. Wang, J. Wang, B. Athiwaratkun, C. Zhang, J. Zou, «Mixture-of-Agents Enhances Large Language Model Capabilities» (arXiv:2406.04692; ICLR 2025): слоистая схема, где агенты-предложители отдают ответы агрегатору. Результат: **65,1 % на AlpacaEval 2.0 только на открытых моделях против 57,5 % у GPT-4 Omni**. Два вывода авторов особенно важны для нас: ответы **разнородных** моделей дают существенно больший вклад, чем ответы одной и той же модели; и модель улучшает свой ответ, получив ответы коллег, **даже когда те хуже её собственного** (авторы называют это «collaborativeness»). **(д) Проверка одной модели другой ловит фактические ошибки.** R. Cohen, M. Hamri, M. Geva, A. Globerson, «LM vs LM: Detecting Factual Errors via Cross Examination», *EMNLP 2023* (arXiv:2305.13281): вторая модель в роли «экзаменатора» ведёт многораундовый допрос первой, выявляя внутренние противоречия; метод превосходит существующие подходы и базовые линии, часто с большим отрывом. Идея взята авторами из юридической практики перекрёстного допроса — и это в точности механика нашего второго раунда. **(е) Согласованность как детектор галлюцинаций.** P. Manakul, A. Liusie, M. Gales, «SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models», *EMNLP 2023*: расхождение между независимо сгенерированными ответами указывает на выдуманный факт, без внешней базы знаний. Практический смысл в консилиуме: **расхождение между агентами — это сигнал, а не шум**, поэтому «сырые» мнения показываются до синтеза, а не скрываются. **(ж) Обязательные уровни уверенности — не декорация.** K. Tian, E. Mitchell, A. Zhou, A. Sharma, R. Rafailov, H. Yao, C. Finn, C. Manning, «Just Ask for Calibration…», *EMNLP 2023*, с. 5433–5442: у моделей, дообученных на человеческой обратной связи (ChatGPT, GPT-4, Claude), **словесно выраженная уверенность калибрована лучше, чем их собственные вероятности токенов** — снижение ошибки калибровки (ECE) примерно на 50 % в относительном выражении на TriviaQA, SciQ и TruthfulQA. Более ранняя работа того же направления: S. Lin, J. Hilton, O. Evans, «Teaching Models to Express Their Uncertainty in Words», *TMLR*, 2022. Честная оговорка: последующие работы (например, Heo и соавторы, 2024) показывают, что словесная уверенность чувствительна к формату вопроса, поэтому в платформе она используется как **указатель для внимания человека**, а не как гарантированная вероятность. **(з) Выделенный критик нужен потому, что подхалимство измерено.** M. Sharma, M. Tong, T. Korbak, D. Duvenaud, A. Askell, S. R. Bowman и соавторы (Anthropic), «Towards Understanding Sycophancy in Language Models», *ICLR 2024* (arXiv:2310.13548): **пять ИИ-ассистентов демонстрируют подхалимство** на четырёх разных задачах свободной генерации; они склонны ошибочно признавать несуществующие ошибки под давлением пользователя и повторять его ошибки; данные человеческих предпочтений сами поощряют такое поведение; вывод авторов — нужны методы контроля, выходящие за пределы оценок неподготовленного человека. Отсюда две функции платформы: роль «скептик-критик», которому по промпту запрещено соглашаться из вежливости, и путь эскалации к живому эксперту. ### 4.7 Математика страницы рейтинга: модель Брэдли–Терри и Elo Страница «Рейтинг» — не сборник маркетинговых заявлений, а срез объективной статистической процедуры. - **R. A. Bradley, M. E. Terry**, «Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons», *Biometrika*, 1952 — модель парных сравнений: вероятность победы i над j равна `p_ij = π_i / (π_i + π_j)`, где π — сила участника. - **A. Elo**, *The Rating of Chessplayers, Past and Present*, 1978 — логистическая параметризация той же модели: `P(A побеждает B) = 1 / (1 + 10^((R_B − R_A)/400))`. - **W.-L. Chiang, L. Zheng, Y. Sheng, A. N. Angelopoulos, T. Li, D. Li, B. Zhu, H. Zhang, M. I. Jordan, J. E. Gonzalez, I. Stoica**, «Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference», *ICML 2024*, PMLR 235: 8359–8388 (arXiv:2403.04132). Пользователь задаёт вопрос, получает ответы двух анонимных моделей и голосует за лучший; идентичность моделей раскрывается только после голосования. На момент публикации — **более 240 000 голосов примерно от 90 000 пользователей**. Ранжирование строится на модели Брэдли–Терри с оценкой неопределённости (bootstrap-интервалы, sandwich-оценки, E-values), обнаружением аномального голосования и адаптивным подбором пар. **Что из этого сделано в продукте:** платформа автоматически забирает свежий снимок этого лидерборда (кеш 6 часов), показывает Elo, число голосов, цену и контекст, отмечает модели, доступные в Консилиуме, и позволяет пересадить любого агента на актуально сильнейшую модель. Выбор модели опирается на рецензируемую статистическую процедуру со слепым человеческим голосованием, а не на пресс-релизы вендоров. ### 4.8 Что мы честно НЕ утверждаем Этот раздел существует, чтобы презентация оставалась проверяемой. 1. **Платформа не вычисляет числовой консенсус.** Голосования, взвешивания по Elo или автоматической агрегации баллов в продукте нет. Синтез — текстовый, его делает агент-синтезатор, а окончательное решение принимает человек. Математика раздела 4 обосновывает **архитектуру процесса** (независимость, разнообразие, порядок раундов), а не является встроенным вычислительным движком. 2. **У нас нет собственных замеров точности.** Все процентные показатели в разделе 4.6 принадлежат авторам соответствующих работ и относятся к их условиям, моделям и бенчмаркам. Мы не переносим эти числа на AI CONSILIUM и не заявляем «платформа точнее на X %» — внутреннего бенчмарка не проводилось. 3. **Условия теорем выполняются лишь приблизительно.** Полная независимость недостижима: разные модели обучались на пересекающихся корпусах, поэтому ρ > 0 (и, по данным Goel и соавторов 2025, растёт с возможностями моделей). Второй раунд намеренно вводит зависимость — мы сознательно платим частью независимости за способность находить ошибки. 4. **Elo измеряет предпочтения людей на запросах Arena**, а не корректность в вашей предметной области. Это лучший из доступных независимых ориентиров, но не гарантия качества на конкретной задаче. 5. **Эксперты в каталоге не аффилированы с платформой** — это шорт-лист для приглашения, и об этом прямо сказано на самой странице. 6. **Роли, промпты и «правила достоверности» снижают риск галлюцинаций, но не устраняют его.** Требование источников не гарантирует, что ссылки существуют, — именно поэтому в правилах есть обязательная пометка «проверить ссылку», а в продукте есть загрузка реальных источников по ссылке и файлом. --- ## 5. Отличия от аналогов ### 5.1 Классы аналогов и содержательная разница | Класс продукта | Примеры | Что там есть | Чего там нет и что даёт AI CONSILIUM | |---|---|---|---| | Одиночный чат-ассистент | ChatGPT, Claude, Gemini | Один сильный собеседник, одна усреднённая позиция | Нет разнесения ошибок по вендорам, нет встроенного критика, нет второго мнения; консилиум даёт до 9 профессиональных позиций и перекрёстную проверку | | Мульти-чат-агрегаторы | сервисы «спроси N моделей сразу» | Один и тот же промпт уходит нескольким моделям, ответы рядом | Это **сравнение моделей**, а не разделение труда: у окон одна роль. В консилиуме у каждого окна своя профессия, свой промпт и своя история, а также второй раунд обсуждения и синтез | | Лидерборды и арены | LMArena / Arena | Объективное ранжирование моделей | Только измерение, задача не решается. Консилиум встраивает рейтинг в рабочий цикл: фильтр «В Консилиуме» и пересадка агента на сильнейшую модель в два клика | | Мультиагентные фреймворки | AutoGen, CrewAI и аналоги | Богатая оркестрация | Это инструменты для разработчиков: нужен код, ключи, инфраструктура. Консилиум — готовый продукт для конечного пользователя, работающий без ключей и без установки | | Поисковые ассистенты | Perplexity и аналоги | Ответ со ссылками | Одна модель, одна позиция. Консилиум добавляет разнородность архитектур, обязательные уровни уверенности и профессиональную многоракурсность | ### 5.2 Десять конкретных отличий, каждое проверяемо в интерфейсе 1. **Роли, а не копии.** Двенадцать окон — это двенадцать профессий с разными системными промптами и изолированными историями, а не двенадцать ответов на один вопрос. Обоснование: полнота охвата задачи и низкая корреляция ошибок (§ 4.2). 2. **Двухфазный протокол, а не групповой чат.** Сначала технически гарантированная независимость, только потом обмен выводами — отдельной кнопкой. Обоснование: Lorenz и соавторы, *PNAS* 2011; метод Дельфи (§ 4.4). 3. **Разнородность по вендорам и странам по умолчанию** — 26 моделей 11 производителей из США, Китая и Европы. Обоснование: измеренная корреляция ошибок современных моделей (Goel и соавторы, *ICML* 2025) и вывод Mixture-of-Agents о вкладе именно разнородных моделей. 4. **Дисциплина достоверности, вшитая в каждый запрос:** уровень уверенности, блок источников, пометка «проверить ссылку», явный перечень недостающих данных. Обоснование: калибровка словесной уверенности (Tian и соавторы, *EMNLP* 2023). 5. **Штатный «адвокат дьявола».** Критика встроена в состав, а не зависит от того, догадается ли пользователь попросить критику. Обоснование: измеренное подхалимство ассистентов (Sharma и соавторы, *ICLR* 2024). 6. **Объективный рейтинг внутри продукта с фильтром «В Консилиуме»** — независимость от вендора и возможность держать состав на актуальном уровне. Обоснование: модель Брэдли–Терри и Chatbot Arena (§ 4.7); требование сопоставимой силы участников (Kurvers и соавторы, *PNAS* 2016). 7. **Единая доказательная база для всех агентов.** Файл или загруженная по ссылке страница уходит всем участникам сразу, и правила требуют отдавать приоритет приложенным материалам. 8. **Эскалация к человеку как часть продукта:** каталог из 35 специалистов и организаций и форма заявки на письменную рецензию выводов консилиума. Обоснование: вывод Sharma и соавторов о необходимости контроля за пределами оценок модели; ограничение LLM-судей (Goel и соавторы). 9. **Прозрачность вместо сглаженного ответа.** Видны все «сырые» мнения до синтеза; промпты, роли и модели открыты и редактируемы. Обоснование: расхождение между независимыми ответами — диагностический сигнал (SelfCheckGPT). 10. **Нулевой порог входа и приватность ключей.** Работает без регистрации у провайдеров моделей (Netlify AI Gateway); свои ключи опциональны, хранятся только в браузере и на сервере не сохраняются. Проекты гостя не покидают браузер; у вошедших — облачная синхронизация с серверной проверкой владельца. --- ## 6. Сценарии применения - **Инвестиционное и продуктовое решение.** Идея проходит через архитектора, критика, маркетолога, финансиста, юриста и безопасника; расхождения между ними — карта рисков. - **Проверка чужого документа или статьи.** Файл или ссылка прикладывается к запросу, все роли разбирают один и тот же материал, перекрёстная проверка выявляет противоречия. - **Due diligence и предварительный риск-обзор** перед привлечением дорогих консультантов: консилиум формирует перечень вопросов, живой эксперт проверяет выводы. - **Дизайн исследования.** Аналитик данных переводит задачу в метрики и проверяемые гипотезы, критик атакует допущения. - **Комплаенс-скрин и обзор безопасности** на раннем этапе, до вовлечения профильных юристов. - **Аудируемая история решения.** Проект сохраняет всю переписку всех агентов — можно вернуться и увидеть, на каком основании было принято решение. --- ## 7. Технологическая архитектура | Слой | Решение | |---|---| | Фронтенд | Статические страницы (`/`, `/rankings`, `/experts`), без сборки и фреймворков; две темы; адаптивная сетка | | Вызов моделей | Функция `/api/consilium`: белый список 26 моделей, маршрутизация по четырём провайдерам (Anthropic, OpenAI, Google, OpenRouter), Netlify AI Gateway по умолчанию, свой ключ — напрямую к провайдеру | | Рейтинг | Функция `/api/rankings`: разбор данных лидерборда Arena, кеш в Netlify Blobs (TTL 6 часов), отдача устаревшего снимка при недоступности источника | | Источники | Функция `/api/fetch-source`: серверная загрузка страницы, очистка HTML, лимиты 800 КБ / 60 000 символов / 15 секунд, защита от SSRF | | Проекты | Функция `/api/projects`: Netlify Database (PostgreSQL) через Drizzle ORM, JSONB-документ на проект, индекс по пользователю, проверка владельца, лимит 2 МБ | | Аккаунты | Netlify Identity: регистрация, вход, подтверждение почты, восстановление пароля, приглашения | | Заявки на экспертов | Netlify Forms с honeypot-защитой | --- ## 8. Библиография **Математика коллективных решений** 1. Condorcet, N. de. *Essai sur l'application de l'analyse à la probabilité des décisions rendues à la pluralité des voix*. Paris, 1785. 2. Ladha, K. K. «The Condorcet Jury Theorem, Free Speech, and Correlated Votes». *American Journal of Political Science*, 1992. 3. Krogh, A., Vedelsby, J. «Neural Network Ensembles, Cross Validation, and Active Learning». *NIPS 7*, MIT Press, 1995. https://proceedings.neurips.cc/paper/1994/hash/b8c37e33defde51cf91e1e03e51657da-Abstract.html 4. Breiman, L. «Random Forests». *Machine Learning*, 45(1), 2001. 5. Hastie, T., Tibshirani, R., Friedman, J. *The Elements of Statistical Learning*, 2-е изд., § 15.2. Springer, 2009. 6. Page, S. E. *The Difference: How the Power of Diversity Creates Better Groups, Firms, Schools, and Societies*. Princeton University Press, 2007. 7. Bradley, R. A., Terry, M. E. «Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons». *Biometrika*, 39, 1952. 8. Elo, A. *The Rating of Chessplayers, Past and Present*. Arco, 1978. **Процедуры экспертных решений и коллективный интеллект** 9. Dalkey, N. C., Helmer, O. «An Experimental Application of the Delphi Method to the Use of Experts». *Management Science*, 9(3): 458–467, 1963. https://www.rand.org/pubs/research_memoranda/RM727z1.html 10. Lorenz, J., Rauhut, H., Schweitzer, F., Helbing, D. «How social influence can undermine the wisdom of crowd effect». *PNAS*, 108(22): 9020–9025, 2011. https://www.pnas.org/doi/10.1073/pnas.1008636108 11. Becker, J., Brackbill, D., Centola, D. «Network dynamics of social influence in the wisdom of crowds». *PNAS*, 2017. 12. Kurvers, R. H. J. M. и соавторы. «Boosting medical diagnostics by pooling independent judgments». *PNAS*, 113(31): 8777–8782, 2016. https://www.pnas.org/doi/full/10.1073/pnas.1601827113 13. Wolf, M. и соавторы. «Collective intelligence meets medical decision-making: the collective outperforms the best radiologist». *PLoS ONE*, 10(8), 2015. 14. Asch, S. E. «Studies of independence and conformity: A minority of one against a unanimous majority». *Psychological Monographs*, 1956. 15. Tversky, A., Kahneman, D. «Judgment under Uncertainty: Heuristics and Biases». *Science*, 185(4157), 1974. **Мультиагентные языковые модели** 16. Wang, X. и соавторы. «Self-Consistency Improves Chain of Thought Reasoning in Language Models». *ICLR 2023*. https://arxiv.org/abs/2203.11171 17. Du, Y., Li, S., Torralba, A., Tenenbaum, J. B., Mordatch, I. «Improving Factuality and Reasoning in Language Models through Multiagent Debate». *ICML 2024*, PMLR 235: 11733–11763. https://proceedings.mlr.press/v235/du24e.html 18. Wang, J., Wang, J., Athiwaratkun, B., Zhang, C., Zou, J. «Mixture-of-Agents Enhances Large Language Model Capabilities». arXiv:2406.04692; *ICLR 2025*. https://arxiv.org/abs/2406.04692 19. Li, J., Zhang, Q., Yu, Y., Fu, Q., Ye, D. «More Agents Is All You Need». *TMLR*, 2024. https://arxiv.org/abs/2402.05120 20. Cohen, R., Hamri, M., Geva, M., Globerson, A. «LM vs LM: Detecting Factual Errors via Cross Examination». *EMNLP 2023*. https://aclanthology.org/2023.emnlp-main.778/ 21. Manakul, P., Liusie, A., Gales, M. «SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models». *EMNLP 2023*. 22. Zhang, Y. и соавторы. «Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View». arXiv:2310.02124. 23. Goel, S., Struber, J., Auzina, I. A. и соавторы. «Great Models Think Alike and this Undermines AI Oversight». *ICML 2025*. https://arxiv.org/abs/2502.04313 24. Chiang, W.-L. и соавторы. «Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference». *ICML 2024*, PMLR 235: 8359–8388. https://arxiv.org/abs/2403.04132 **Достоверность, калибровка, подхалимство** 25. Tian, K., Mitchell, E., Zhou, A., Sharma, A., Rafailov, R., Yao, H., Finn, C., Manning, C. «Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback». *EMNLP 2023*, с. 5433–5442. https://aclanthology.org/2023.emnlp-main.330/ 26. Lin, S., Hilton, J., Evans, O. «Teaching Models to Express Their Uncertainty in Words». *TMLR*, 2022. 27. Sharma, M., Tong, M., Korbak, T., Duvenaud, D., Askell, A., Bowman, S. R. и соавторы (Anthropic). «Towards Understanding Sycophancy in Language Models». *ICLR 2024*. https://arxiv.org/abs/2310.13548 **Критика и границы применимости приведённых результатов** 28. Farrell, S. «Social influence benefits the wisdom of individuals in the crowd». *PNAS*, 2011. 29. «Fatal errors and misuse of mathematics in the Hong–Page Theorem…». arXiv:2307.04709. 30. «Wisdom of crowds: much ado about nothing». arXiv:2008.01485.