AI CONSILIUM
Скачать текстом (.md)
Презентация платформы

AI CONSILIUM
коллективный интеллект вместо одного мнения

Один вопрос — до двенадцати независимых ИИ-агентов с разными профессиональными ролями и моделями разных производителей. Затем перекрёстная проверка, синтез и решение человека. Порядок шагов и разнородность состава здесь не оформление, а следствие опубликованных математических результатов.

Правило этого документа. Описаны только функции, реально реализованные в коде платформы. Все научные утверждения снабжены ссылками на существующие публикации (PNAS, ICML, ICLR, EMNLP, Management Science, NeurIPS) с авторами, годом и изданием. Раздел 6 отдельно и прямо перечисляет то, чего платформа не делает и чего мы не утверждаем. Числовые показатели из чужих работ не переносятся на наш продукт: собственного бенчмарка мы не проводили и процентов «точнее на X» не заявляем.

00 Содержание

01 Как это работает 02 Полный перечень функций 03 Математический фундамент 04 Доказательства для LLM 05 Математика рейтинга 06 Чего мы не утверждаем 07 Отличия от аналогов 08 Сценарии применения 09 Архитектура 10 Библиография

01 Как это работает

AI CONSILIUM — платформа коллективного принятия решений. Один и тот же вопрос параллельно и независимо анализируют до двенадцати ИИ-агентов; каждый агент — отдельная профессиональная роль со своим системным промптом, своей моделью и своей изолированной историей диалога. Принцип тот же, что у врачебного консилиума: важное решение не доверяют одному специалисту.

1

Постановка задачи

Один запрос — плюс, при необходимости, текстовый файл и/или страница, загруженная по ссылке — уходит массивом параллельных вызовов ко всем активным агентам. Все эксперты работают с одной и той же доказательной базой.

2

Независимые мнения

Каждый агент отвечает в своём окне и технически не получает ответы коллег. Это устраняет якорение и конформизм: никто не подстраивается под первое прозвучавшее мнение.

3

Перекрёстная проверка

Отдельной кнопкой каждому ответившему агенту передаются последние выводы всех остальных с жёсткой инструкцией: с чем согласен, где видит ошибки и упущения, что добавит. Проверку можно запускать повторно — это управляемое человеком многораундовое обсуждение.

4

Синтез

Роль «Синтезатор» находит консенсус и противоречия участников и формулирует взвешенную итоговую рекомендацию — как модератор консилиума.

5

Решение человека, при необходимости — живой эксперт

Пользователь видит все «сырые» мнения до синтеза. На странице «Эксперт» можно запросить письменную рецензию выводов консилиума у специалиста-человека.

Состав по умолчанию: роли намеренно разнесены по производителям

РольМодель по умолчаниюПроизводитель
Архитектор решенийclaude-sonnet-5Anthropic 🇺🇸
Скептик-критикgpt-5.2OpenAI 🇺🇸
Синтезаторclaude-opus-4-5Anthropic 🇺🇸
Маркетологgemini-2.5-proGoogle 🇺🇸
Финансовый аудиторgpt-4.1OpenAI 🇺🇸
Аудитор безопасностиkimi-k2.5Moonshot AI 🇨🇳
UX-исследовательmistral-small-2603Mistral 🇪🇺
Аналитик данныхdeepseek-v4-proDeepSeek 🇨🇳
Юрист-комплаенсclaude-haiku-4-5Anthropic 🇺🇸

Любую роль можно переименовать, переписать её системный промпт и пересадить на любую из 26 доступных моделей 11 производителей. Раскладка 1 / 4 / 8 / 12 окон задаёт размер консилиума.

02 Полный перечень функций

Ядро: мультиагентный консилиум

  • Сетка 1 / 4 / 8 / 12 окон. «4» — четыре самые сильные модели одновременно (создатель, критик, синтезатор, маркетолог); «8» добавляет деньги, безопасность, UX и данные; «12» — полный состав с правом, продуктом, инженерией и этикой.
  • Двенадцать преднастроенных профессиональных ролей с готовыми системными промптами.
  • Роли по умолчанию выключены — каждая модель отвечает сама за себя, от своего имени; кнопка «Роли» включает роли-личности.
  • Полная изоляция агентов: своя роль, своя модель, свой ключ, своя история диалога.
  • Один запрос — всем сразу: массив параллельных вызовов; поле ввода очищается только после формирования всех запросов.
  • Перекрёстная проверка по кнопке с дайджестом последних ответов коллег; кнопка блокируется, пока агенты отвечают и пока ответов меньше двух; запуск можно повторять.
  • 26 моделей, 11 семейств, 3 региона: Claude, GPT, Gemini, Llama, Grok (🇺🇸); DeepSeek, Qwen, Kimi, GLM, MiniMax (🇨🇳); Mistral (🇪🇺).
  • Настройки каждого агента: имя роли, системный промпт, модель, собственный ключ API, сброс к пресету.
  • Режим «Одна модель»: одна модель и один ключ на все окна, но каждое окно сохраняет свою роль-личность и свою историю.
  • Работа без ключей: по умолчанию вызовы идут через Netlify AI Gateway; свои ключи опциональны и идут напрямую к провайдеру.
  • Правила достоверности, вшитые в каждый запрос (добавляются даже к переписанным пользователем ролям): уровень уверенности [высокая | средняя | низкая]; обязательный блок «Источники»; пометка «— проверить ссылку» для ссылок по памяти; приоритет приложенным материалам; явный перечень недостающих данных вместо домыслов.
  • Лимиты: 40 последних сообщений истории, 24 000 символов на сообщение, 8 000 символов системного промпта.
  • Понятные ошибки вместо сбоев провайдера: отдельные сообщения для отклонённого ключа, превышенного лимита запросов, неподдерживаемой модели, пустого ответа; текст ошибки провайдера обрезается и не пробрасывается целиком.

Ввод данных и источники

  • Текстовый запрос с отправкой по Enter.
  • Прикрепление текстового файла — до 200 КБ, в запрос попадает до 100 000 символов; файл уходит всем активным агентам.
  • Прикрепление ссылки-источника: страница загружается на сервере, очищается от скриптов, стилей, комментариев и тегов, декодируются HTML-сущности, результат передаётся агентам как файл.
  • Лимиты и защита загрузчика: читается до 800 КБ ответа, агентам отдаётся до 60 000 символов, таймаут 15 секунд; только http/https; блокировка localhost, приватных диапазонов (10/8, 172.16/12, 192.168/16, 169.254/16), IPv6-loopback и metadata-хостов; повторная проверка адреса после редиректов; отказ для нетекстовых типов контента.
  • Голосовой ввод (Web Speech API, ru-RU) с индикацией записи.

Проекты и аккаунты

  • Автосохранение проекта: снимок переписки всех агентов после каждого ответа; имя проекта берётся из первого запроса.
  • Список проектов в сайдбаре: переключение, переименование, удаление; переключение заблокировано, пока агенты отвечают.
  • Гостевой режим: проекты хранятся только в localStorage браузера.
  • Облачная синхронизация для вошедших: раскладка и переписка всех агентов сохраняются в Netlify Database (PostgreSQL); отправка через 1,5 с после изменения; при входе локальные и серверные проекты сливаются по времени изменения, локальные выгружаются в облако; лимит 2 МБ на проект.
  • Серверная проверка владельца: чужой проект нельзя прочитать, перезаписать или удалить; запрос без входа получает 401.
  • Аккаунты (Netlify Identity): регистрация, вход, подтверждение почты, восстановление пароля, приглашения — с русскими текстами ошибок.
  • Приватность ключей: пользовательские ключи API хранятся только в браузере, передаются лишь как параметр конкретного вызова и на сервере не сохраняются.

Живой рейтинг моделей (страница «Рейтинг»)

  • Объективный Elo-рейтинг по данным Arena (LMArena) — слепые парные сравнения с голосованием людей.
  • Четыре категории: текст (с контролем стиля), веб-разработка, зрение, поиск; до 100 моделей в каждой.
  • Данные по модели: место, название, организация, Elo, число голосов, цена за 1 млн входных и выходных токенов, размер контекста, ссылка.
  • Фильтры: все страны, 🇺🇸 США, 🇨🇳 Китай, 🇪🇺 Европа и особый фильтр «В Консилиуме» — только модели, доступные на платформе.
  • Карточка лидера с текущим первым местом и его показателями.
  • Кеш и отказоустойчивость: Netlify Blobs, TTL 6 часов; при недоступности источника отдаётся последний снимок с честной пометкой «источник временно недоступен».

Живой эксперт-человек (страница «Эксперт»)

  • Каталог 35 специалистов и организаций: экономика (9), финансы (5), IT и ИИ (9), право и консалтинг (8), венчурные инвестиции (4); 27 персон и 8 юрлиц, с аффилиацией и ссылкой на публичный профиль.
  • Фильтры по сферам.
  • Честный дисклеймер на самой странице: это шорт-лист для приглашения по публичным заслугам; эксперты не аффилированы с платформой; по заявке организуется обращение либо подбирается специалист сопоставимого уровня.
  • Форма заявки (Netlify Forms, honeypot-защита): эксперт, тип заказчика, формат работы (консультация, письменная рецензия выводов ИИ-консилиума, экспертиза проекта для инвестора, сопровождение), ориентир бюджета, контакты, описание задачи.

Интерфейс и платформа

  • Две темы — радикально чёрная и светлая; выбор сохраняется и применяется до первой отрисовки, без «вспышки» неверной темы.
  • Сворачиваемый сайдбар, адаптивная сетка окон, единая система штриховых SVG-иконок, полностью русскоязычный интерфейс.
  • Панель «Состав консилиума» — обзор всех двенадцати ролей с моделями и быстрым переходом в настройки агента.
  • Панель «О проекте» с методологией прямо в приложении и ссылкой на эту презентацию.
  • Serverless-архитектура на Netlify: статический фронтенд, четыре функции, PostgreSQL через Drizzle ORM, Blobs, Identity, Forms, AI Gateway.

03 Математический фундамент

Архитектура платформы — не набор произвольных решений. Каждый её элемент воспроизводит процедуру, у которой есть либо строгая математическая формулировка, либо экспериментальное подтверждение в рецензируемой литературе.

3.1 Теорема Кондорсе о жюри (1785): почему N независимых сильнее одного

Николя де Кондорсе, Essai sur l'application de l'analyse à la probabilité des décisions rendues à la pluralité des voix, 1785. Если каждый из N участников независимо даёт верный ответ с вероятностью p, вероятность верного большинства равна:

PN = Σk > N/2 C(N,k) · pk · (1−p)N−k При p > 1/2 монотонно возрастает по N и стремится к 1. Ниже — прямой расчёт по этой формуле (арифметическое следствие, а не измерение продукта).
Индивидуальная точность pN = 1N = 3N = 9
0,60,6000,6480,733
0,70,7000,7840,901
0,80,8000,8960,980

Два условия теоремы важнее самого вывода

(1) p > 1/2 — участники должны быть компетентны; (2) независимость голосов. При положительной корреляции ошибок выигрыш падает, при полной — исчезает. Случай коррелированных голосов разобран: K. Ladha, «The Condorcet Jury Theorem, Free Speech, and Correlated Votes», American Journal of Political Science, 1992.

Что сделано в продукте: независимость первого раунда обеспечена технически (агент не получает ответы коллег), борьба с корреляцией — намеренным разнесением ролей по разным производителям. Раскладки «3» и «9» нечётные: большинство всегда однозначно, без ничьих.

3.2 Дисперсия среднего коррелированных оценок: почему разнородность важнее количества

Стандартный результат теории ансамблей (основа анализа bagging и случайных лесов: L. Breiman, «Random Forests», Machine Learning, 2001; T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning, 2-е изд., § 15.2). Для n оценок с дисперсией σ² и попарной корреляцией ρ:

Var(среднее) = ρ·σ² + (1−ρ)·σ²/n Относительная дисперсия среднего в долях σ² — прямой расчёт по формуле.
Корреляция ошибок ρn = 1n = 3n = 9
0,01,0000,3330,111
0,31,0000,5330,378
0,61,0000,7330,644
0,91,0000,9330,911

Вывод, прямо определяющий дизайн платформы: при ρ → 1 количество участников почти не помогает. Двенадцать копий одной модели дают почти столько же, сколько одна. Ценность создаёт не число агентов, а низкая корреляция их ошибок.

S. Goel, J. Struber, I. A. Auzina и соавторы. «Great Models Think Alike and this Undermines AI Oversight». ICML 2025 (arXiv:2502.04313) Введена метрика CAPA (Chance Adjusted Probabilistic Agreement) — сходство моделей по пересечению их ошибок. Показано: судья-LLM завышает оценки моделям, похожим на него самого; выигрыш от контроля слабой моделью сильной падает с ростом сходства; и главное — с ростом возможностей моделей их ошибки становятся всё более похожими, что создаёт риск коррелированных отказов. В продукте: роли по умолчанию распределены между Anthropic, OpenAI, Google, Moonshot AI, DeepSeek и Mistral; доступны 26 моделей 11 производителей; итоговое решение остаётся за человеком, а не за моделью-судьёй.

3.3 Разложение ошибки ансамбля: E = Ē − Ā

A. Krogh, J. Vedelsby, «Neural Network Ensembles, Cross Validation, and Active Learning», Advances in Neural Information Processing Systems 7, MIT Press, 1995 (NIPS 1994) — тождество для квадратичной ошибки:

E = Ē − Ā Ошибка ансамбля = средняя ошибка участников − «неоднозначность» (разброс мнений). Так как Ā ≥ 0, ансамбль не может быть хуже среднего участника, а рост разногласий напрямую уменьшает ошибку ансамбля.

Тот же результат в языке коллективного интеллекта — теорема о разнообразии предсказаний (S. E. Page, The Difference, Princeton University Press, 2007): γ = ε − δ, где γ — квадратичная ошибка коллективной оценки, ε — средняя квадратичная ошибка участников, δ — разнообразие оценок.

Честная оговорка

Это математическое тождество (по сути перегруппировка разложения bias–variance), а не причинно-следственный закон: ε и δ нельзя менять независимо, поэтому «больше разнообразия» — не бесплатное улучшение. Критика такой интерпретации опубликована (arXiv:2307.04709, arXiv:2008.01485). Именно поэтому платформа комбинирует разнообразие с компетентностью каждой роли (выбор сильной модели через страницу рейтинга) и обязательным решением человека.

3.4 Почему первый раунд обязательно независимый

J. Lorenz, H. Rauhut, F. Schweitzer, D. Helbing. «How social influence can undermine the wisdom of crowd effect». PNAS 108(22): 9020–9025, 2011 В эксперименте (N = 144) показано: даже слабое социальное влияние подрывает эффект мудрости толпы — доступ к оценкам других снижает разнообразие мнений, не снижая коллективной ошибки. Авторы подчёркивают: мудрость толпы — статистический феномен, опирающийся на агрегирование независимых оценок. В продукте: первый раунд технически независим. Научный контекст приводим полностью: у работы есть опубликованные возражения (S. Farrell, PNAS, 2011) и работы об условиях, при которых влияние всё же полезно (J. Becker, D. Brackbill, D. Centola, PNAS, 2017). Поэтому влияние у нас не запрещено, а отложено и структурировано — во второй раунд.
N. C. Dalkey, O. Helmer. «An Experimental Application of the Delphi Method to the Use of Experts». Management Science 9(3): 458–467, 1963 (RAND, RM-727/1, 1962) Метод Дельфи создан в RAND именно как замена очного обсуждения, страдающего от влияния доминирующих участников, «шума» и давления к конформизму: эксперты опрашиваются раздельно, серией опросников, с контролируемой обратной связью между раундами. В продукте: последовательность «независимые мнения → контролируемый обмен выводами → синтез» — это двухраундовый Дельфи с контролируемой обратной связью, а не групповой чат.

Классические источники того же эффекта у людей: эксперименты С. Аша по конформизму (1951, 1956) и эффект якорения (A. Tversky, D. Kahneman, Science, 1974). Для LLM-агентов аналогичное конформное поведение при групповом обсуждении описано: Y. Zhang и соавторы, «Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View» (arXiv:2310.02124).

3.5 Медицинская аналогия — с реальными числами

R. Kurvers, S. Herzog, R. Hertwig, J. Krause, P. Carney, A. Bogart, G. Argenziano, I. Zalaudek, M. Wolf. «Boosting medical diagnostics by pooling independent judgments». PNAS 113(31): 8777–8782, 2016 На реальных данных — более 140 врачей и более 20 000 диагнозов в двух областях (рак груди и рак кожи) — показано: агрегирование независимых суждений нескольких врачей превосходит лучшего врача в группе при условии, что точность участников относительно сопоставима. Дополнительно: уверенность диагноста положительно связана с чувствительностью и специфичностью на всех уровнях квалификации. Смежные результаты той же группы: M. Wolf и соавторы, PLoS ONE, 2015 («коллектив превосходит лучшего радиолога»); R. Kurvers и соавторы, JAMA Dermatology, 2015. В продукте два следствия, оба реализованы: (1) участники должны быть сопоставимой силы — поэтому встроена страница объективного рейтинга с фильтром «В Консилиуме» для пересадки агента на модель актуального уровня; (2) уверенность участника — полезный сигнал, поэтому уровень уверенности обязателен в каждом ответе.

04 Доказательства именно для LLM: это не наша выдумка

Каждый элемент протокола существует в литературе по языковым моделям как отдельно измеренный приём. Ниже — работы, факт из каждой и то, какая функция платформы её воспроизводит.

X. Wang и соавторы. «Self-Consistency Improves Chain of Thought Reasoning in Language Models». ICLR 2023 (arXiv:2203.11171) Вместо одного «жадного» ответа сэмплируется набор независимых цепочек рассуждений и выбирается самый согласованный ответ. Абсолютный прирост точности на PaLM-540B: GSM8K +17,9 %, SVAMP +11,0 %, AQuA +12,2 %, StrategyQA +6,4 %, ARC-challenge +3,9 %. В продукте: агрегирование независимых ответов — базовый принцип первого раунда.
J. Li, Q. Zhang, Y. Yu, Q. Fu, D. Ye. «More Agents Is All You Need». TMLR, 2024 (arXiv:2402.05120) Простое «сэмплирование и голосование» масштабируется с числом агентов; выигрыш тем больше, чем сложнее задача (на MATH относительный прирост существенно выше, чем на GSM8K для Llama2-13B). Эффект насыщается, когда дополнительные агенты — клоны с теми же слепыми зонами. В продукте: раскладки до 9 агентов — и намеренная разнородность моделей, чтобы агенты не были клонами.
Y. Du, S. Li, A. Torralba, J. B. Tenenbaum, I. Mordatch. «Improving Factuality and Reasoning in Language Models through Multiagent Debate». ICML 2024, PMLR 235: 11733–11763 Несколько экземпляров языковой модели предлагают ответы и обсуждают их в несколько раундов. Это существенно улучшает математическое и стратегическое рассуждение и повышает фактическую достоверность, снижая число ошибочных ответов и галлюцинаций. В продукте: это ровно механика кнопки «Перекрёстная проверка», которую можно запускать повторно.
J. Wang, J. Wang, B. Athiwaratkun, C. Zhang, J. Zou. «Mixture-of-Agents Enhances Large Language Model Capabilities». arXiv:2406.04692; ICLR 2025 Слоистая схема «агенты-предложители → агрегатор» даёт 65,1 % на AlpacaEval 2.0 только на открытых моделях против 57,5 % у GPT-4 Omni. Два вывода авторов особенно важны: ответы разнородных моделей дают существенно больший вклад, чем ответы одной и той же модели; и модель улучшает свой ответ, получив ответы коллег, даже когда те хуже её собственного («collaborativeness»). В продукте: архитектура «много ролей-предложителей + агент-синтезатор» на разнородных моделях — то же устройство.
R. Cohen, M. Hamri, M. Geva, A. Globerson. «LM vs LM: Detecting Factual Errors via Cross Examination». EMNLP 2023 (arXiv:2305.13281) Вторая модель в роли «экзаменатора» ведёт многораундовый допрос первой, выявляя внутренние противоречия; метод превосходит существующие подходы и базовые линии, часто с большим отрывом. Идея взята авторами из юридической практики перекрёстного допроса. В продукте: перекрёстная проверка — тот же механизм, только каждый агент одновременно и «экзаменуемый», и «экзаменатор».
P. Manakul, A. Liusie, M. Gales. «SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative LLMs». EMNLP 2023 Расхождение между независимо сгенерированными ответами указывает на выдуманный факт — без внешней базы знаний. В продукте: расхождение между агентами — это сигнал, а не шум, поэтому все «сырые» мнения показываются до синтеза, а не скрываются.
K. Tian, E. Mitchell, A. Zhou, A. Sharma, R. Rafailov, H. Yao, C. Finn, C. Manning. «Just Ask for Calibration…». EMNLP 2023, с. 5433–5442 У моделей, дообученных на человеческой обратной связи (ChatGPT, GPT-4, Claude), словесно выраженная уверенность калибрована лучше, чем их собственные вероятности токенов — снижение ошибки калибровки (ECE) примерно на 50 % в относительном выражении на TriviaQA, SciQ и TruthfulQA. Раннее направление: S. Lin, J. Hilton, O. Evans, «Teaching Models to Express Their Uncertainty in Words», TMLR, 2022. В продукте: обязательная пометка [уверенность: высокая | средняя | низкая] в каждом ответе. Честная оговорка: последующие работы (Heo и соавторы, 2024) показывают чувствительность словесной уверенности к формату вопроса, поэтому она используется как указатель для внимания человека, а не как гарантированная вероятность.
M. Sharma, M. Tong, T. Korbak, D. Duvenaud, A. Askell, S. R. Bowman и соавторы (Anthropic). «Towards Understanding Sycophancy in Language Models». ICLR 2024 (arXiv:2310.13548) Пять ИИ-ассистентов демонстрируют подхалимство на четырёх разных задачах свободной генерации: склонны ошибочно признавать несуществующие ошибки под давлением пользователя и повторять его ошибки; данные человеческих предпочтений сами поощряют такое поведение. Вывод авторов — нужны методы контроля, выходящие за пределы оценок неподготовленного человека. В продукте: штатная роль «скептик-критик», которому по промпту запрещено соглашаться из вежливости, и путь эскалации к живому эксперту.

05 Математика страницы рейтинга: Брэдли–Терри и Elo

Страница «Рейтинг» — не сборник маркетинговых заявлений, а срез объективной статистической процедуры.

pij = πi / (πi + πj)   ·   P(A побеждает B) = 1 / (1 + 10(RB − RA)/400) Модель парных сравнений Брэдли–Терри (R. A. Bradley, M. E. Terry, Biometrika, 1952) и её логистическая параметризация в системе Elo (A. Elo, «The Rating of Chessplayers, Past and Present», 1978).
W.-L. Chiang, L. Zheng, Y. Sheng, A. N. Angelopoulos, T. Li, D. Li, B. Zhu, H. Zhang, M. I. Jordan, J. E. Gonzalez, I. Stoica. «Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference». ICML 2024, PMLR 235: 8359–8388 (arXiv:2403.04132) Пользователь задаёт вопрос, получает ответы двух анонимных моделей и голосует за лучший; идентичность моделей раскрывается только после голосования. На момент публикации — более 240 000 голосов примерно от 90 000 пользователей. Ранжирование строится на модели Брэдли–Терри с оценкой неопределённости (bootstrap-интервалы, sandwich-оценки, E-values), обнаружением аномального голосования и адаптивным подбором пар. В продукте: платформа автоматически забирает свежий снимок этого лидерборда (кеш 6 часов), показывает Elo, число голосов, цену и контекст, отмечает модели, доступные в Консилиуме, и позволяет пересадить любого агента на актуально сильнейшую модель. Выбор модели опирается на рецензируемую статистическую процедуру со слепым человеческим голосованием, а не на пресс-релизы вендоров.

06 Чего мы честно не утверждаем

Этот раздел существует, чтобы презентация оставалась проверяемой

  1. Платформа не вычисляет числовой консенсус. Голосования, взвешивания по Elo или автоматической агрегации баллов в продукте нет. Синтез — текстовый, его делает агент-синтезатор, а окончательное решение принимает человек. Математика раздела 3 обосновывает архитектуру процесса (независимость, разнообразие, порядок раундов), а не является встроенным вычислительным движком.
  2. У нас нет собственных замеров точности. Все процентные показатели раздела 4 принадлежат авторам соответствующих работ и относятся к их условиям, моделям и бенчмаркам. Мы не переносим эти числа на AI CONSILIUM и не заявляем «платформа точнее на X %» — внутреннего бенчмарка не проводилось.
  3. Условия теорем выполняются лишь приблизительно. Полная независимость недостижима: модели обучались на пересекающихся корпусах, поэтому ρ > 0 (и, по данным Goel и соавторов, 2025, растёт с возможностями моделей). Второй раунд намеренно вводит зависимость — мы сознательно платим частью независимости за способность находить ошибки.
  4. Elo измеряет предпочтения людей на запросах Arena, а не корректность в вашей предметной области. Это лучший доступный независимый ориентир, но не гарантия качества на конкретной задаче.
  5. Эксперты в каталоге не аффилированы с платформой — это шорт-лист для приглашения, и об этом прямо сказано на самой странице.
  6. Правила достоверности снижают риск галлюцинаций, но не устраняют его. Требование источников не гарантирует, что ссылки существуют, — поэтому в правилах есть обязательная пометка «проверить ссылку», а в продукте — загрузка реальных источников файлом и по ссылке.

07 Отличия от аналогов

7.1 Классы аналогов и содержательная разница

Класс продуктаЧто там естьЧто даёт AI CONSILIUM
Одиночный чат-ассистент
ChatGPT, Claude, Gemini		 Один сильный собеседник, одна усреднённая позиция До 9 профессиональных позиций, разнесение ошибок по вендорам, штатный критик, перекрёстная проверка
Мульти-чат-агрегаторы
«спроси N моделей сразу»		 Один и тот же промпт уходит нескольким моделям, ответы рядом Это сравнение моделей, а не разделение труда. У нас у каждого окна своя профессия, свой промпт и своя история — плюс второй раунд обсуждения и синтез
Лидерборды и арены
LMArena / Arena		 Объективное ранжирование моделей Там только измерение — задача не решается. Мы встраиваем рейтинг в рабочий цикл: фильтр «В Консилиуме» и пересадка агента на сильнейшую модель в два клика
Мультиагентные фреймворки
AutoGen, CrewAI и аналоги		 Богатая оркестрация Это инструменты для разработчиков: нужен код, ключи, инфраструктура. Мы — готовый продукт для конечного пользователя, работающий без ключей и без установки
Поисковые ассистенты
Perplexity и аналоги		 Ответ со ссылками Одна модель, одна позиция. Мы добавляем разнородность архитектур, обязательные уровни уверенности и профессиональную многоракурсность

7.2 Десять конкретных отличий, каждое проверяемо в интерфейсе

  1. Роли, а не копии. Двенадцать окон — двенадцать профессий с разными системными промптами и изолированными историями, а не двенадцать ответов на один вопрос. Обоснование: полнота охвата и низкая корреляция ошибок (§ 3.2).
  2. Двухфазный протокол, а не групповой чат. Сначала технически гарантированная независимость, только потом обмен выводами — отдельной кнопкой. Обоснование: Lorenz и соавторы, PNAS 2011; метод Дельфи (§ 3.4).
  3. Разнородность по вендорам и странам по умолчанию — 26 моделей 11 производителей из США, Китая и Европы. Обоснование: измеренная корреляция ошибок моделей (Goel и соавторы, ICML 2025) и вывод Mixture-of-Agents о вкладе разнородных моделей.
  4. Дисциплина достоверности, вшитая в каждый запрос: уровень уверенности, блок источников, пометка «проверить ссылку», перечень недостающих данных. Обоснование: калибровка словесной уверенности (Tian и соавторы, EMNLP 2023).
  5. Штатный «адвокат дьявола». Критика встроена в состав, а не зависит от того, догадается ли пользователь её попросить. Обоснование: измеренное подхалимство ассистентов (Sharma и соавторы, ICLR 2024).
  6. Объективный рейтинг внутри продукта с фильтром «В Консилиуме» — независимость от вендора и актуальный состав. Обоснование: Брэдли–Терри и Chatbot Arena (§ 5); требование сопоставимой силы участников (Kurvers и соавторы, PNAS 2016).
  7. Единая доказательная база для всех агентов. Файл или загруженная по ссылке страница уходит всем участникам сразу, и правила требуют отдавать приоритет приложенным материалам.
  8. Эскалация к человеку как часть продукта: каталог 35 специалистов и организаций и форма заявки на письменную рецензию выводов консилиума. Обоснование: вывод Sharma и соавторов о необходимости контроля за пределами оценок модели; ограничения LLM-судей (Goel и соавторы).
  9. Прозрачность вместо сглаженного ответа. Видны все «сырые» мнения до синтеза; промпты, роли и модели открыты и редактируемы. Обоснование: расхождение независимых ответов — диагностический сигнал (SelfCheckGPT).
  10. Нулевой порог входа и приватность ключей. Работает без регистрации у провайдеров моделей; свои ключи опциональны, хранятся только в браузере и на сервере не сохраняются. Проекты гостя не покидают браузер; у вошедших — облачная синхронизация с серверной проверкой владельца.

08 Сценарии применения

09 Технологическая архитектура

СлойРешение
ФронтендСтатические страницы (/, /rankings, /experts) без сборки и фреймворков; две темы; адаптивная сетка окон
Вызов моделей/api/consilium: белый список 26 моделей, маршрутизация по четырём провайдерам (Anthropic, OpenAI, Google, OpenRouter), Netlify AI Gateway по умолчанию, свой ключ — напрямую к провайдеру
Рейтинг/api/rankings: разбор данных лидерборда Arena, кеш в Netlify Blobs (TTL 6 часов), отдача последнего снимка при недоступности источника
Источники/api/fetch-source: серверная загрузка страницы, очистка HTML, лимиты 800 КБ / 60 000 символов / 15 секунд, защита от SSRF
Проекты/api/projects: Netlify Database (PostgreSQL) через Drizzle ORM, JSONB-документ на проект, индекс по пользователю, проверка владельца, лимит 2 МБ
АккаунтыNetlify Identity: регистрация, вход, подтверждение почты, восстановление пароля, приглашения
Заявки на экспертовNetlify Forms с honeypot-защитой

10 Библиография

Математика коллективных решений

  1. Condorcet, N. de. Essai sur l'application de l'analyse à la probabilité des décisions rendues à la pluralité des voix. Paris, 1785.
  2. Ladha, K. K. «The Condorcet Jury Theorem, Free Speech, and Correlated Votes». American Journal of Political Science, 1992.
  3. Krogh, A., Vedelsby, J. «Neural Network Ensembles, Cross Validation, and Active Learning». NIPS 7, MIT Press, 1995. proceedings.neurips.cc
  4. Breiman, L. «Random Forests». Machine Learning, 45(1), 2001.
  5. Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning, 2-е изд., § 15.2. Springer, 2009.
  6. Page, S. E. The Difference. Princeton University Press, 2007.
  7. Bradley, R. A., Terry, M. E. «Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons». Biometrika, 39, 1952.
  8. Elo, A. The Rating of Chessplayers, Past and Present. Arco, 1978.

Процедуры экспертных решений и коллективный интеллект

  1. Dalkey, N. C., Helmer, O. «An Experimental Application of the Delphi Method to the Use of Experts». Management Science, 9(3): 458–467, 1963. rand.org
  2. Lorenz, J., Rauhut, H., Schweitzer, F., Helbing, D. «How social influence can undermine the wisdom of crowd effect». PNAS, 108(22): 9020–9025, 2011. pnas.org
  3. Becker, J., Brackbill, D., Centola, D. «Network dynamics of social influence in the wisdom of crowds». PNAS, 2017.
  4. Kurvers, R. H. J. M. и соавторы. «Boosting medical diagnostics by pooling independent judgments». PNAS, 113(31): 8777–8782, 2016. pnas.org
  5. Wolf, M. и соавторы. «Collective intelligence meets medical decision-making: the collective outperforms the best radiologist». PLoS ONE, 10(8), 2015.
  6. Asch, S. E. «Studies of independence and conformity». Psychological Monographs, 1956.
  7. Tversky, A., Kahneman, D. «Judgment under Uncertainty: Heuristics and Biases». Science, 185(4157), 1974.

Мультиагентные языковые модели

  1. Wang, X. и соавторы. «Self-Consistency Improves Chain of Thought Reasoning in Language Models». ICLR 2023. arxiv.org/abs/2203.11171
  2. Du, Y., Li, S., Torralba, A., Tenenbaum, J. B., Mordatch, I. «Improving Factuality and Reasoning in Language Models through Multiagent Debate». ICML 2024, PMLR 235: 11733–11763. proceedings.mlr.press
  3. Wang, J., Wang, J., Athiwaratkun, B., Zhang, C., Zou, J. «Mixture-of-Agents Enhances Large Language Model Capabilities». arXiv:2406.04692; ICLR 2025. arxiv.org/abs/2406.04692
  4. Li, J., Zhang, Q., Yu, Y., Fu, Q., Ye, D. «More Agents Is All You Need». TMLR, 2024. arxiv.org/abs/2402.05120
  5. Cohen, R., Hamri, M., Geva, M., Globerson, A. «LM vs LM: Detecting Factual Errors via Cross Examination». EMNLP 2023. aclanthology.org
  6. Manakul, P., Liusie, A., Gales, M. «SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models». EMNLP 2023.
  7. Zhang, Y. и соавторы. «Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View». arXiv:2310.02124.
  8. Goel, S., Struber, J., Auzina, I. A. и соавторы. «Great Models Think Alike and this Undermines AI Oversight». ICML 2025. arxiv.org/abs/2502.04313
  9. Chiang, W.-L. и соавторы. «Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference». ICML 2024, PMLR 235: 8359–8388. arxiv.org/abs/2403.04132

Достоверность, калибровка, подхалимство

  1. Tian, K., Mitchell, E., Zhou, A., Sharma, A., Rafailov, R., Yao, H., Finn, C., Manning, C. «Just Ask for Calibration…». EMNLP 2023, с. 5433–5442. aclanthology.org
  2. Lin, S., Hilton, J., Evans, O. «Teaching Models to Express Their Uncertainty in Words». TMLR, 2022.
  3. Sharma, M., Tong, M., Korbak, T., Duvenaud, D., Askell, A., Bowman, S. R. и соавторы (Anthropic). «Towards Understanding Sycophancy in Language Models». ICLR 2024. arxiv.org/abs/2310.13548

Критика и границы применимости приведённых результатов

  1. Farrell, S. «Social influence benefits the wisdom of individuals in the crowd». PNAS, 2011.
  2. «Fatal errors and misuse of mathematics in the Hong–Page Theorem…». arXiv:2307.04709.
  3. «Wisdom of crowds: much ado about nothing». arXiv:2008.01485.