Аудит ИИ-бота: как часто он ошибается и сколько вы переплачиваете
За 5–7 рабочих дней прогоню вашего бота по 50 вопросам и покажу в цифрах: сколько ответов верные, почему остальные нет и что исправить первым.
Для кого: Те, у кого бот уже есть и он врёт или дорого стоит
- 01Доля верных ответовна 50–100 вопросах, собранных вместе с вами
- 02Ошибки по типамне нашёл документнашёл, но ответил неверновыдумал
- 03Стоимость 1000 ответовсейчас и на более дешёвой модели, с качеством обеих
- 04План исправленийпо приоритету: что даст больше за меньшие деньги
Знакомо?
Если узнаёте хотя бы одно из этого — эта страница для вас.
- Бот иногда уверенно выдумывает, и клиенты присылают скриншоты.
- Никто не знает, какая доля ответов верная: проверяли на глаз.
- Счёт за API растёт, а дешёвую модель поставить страшно.
- Поменяли модель или промпт — стало хуже, но непонятно где.
Что вы получите
- Вы узнаете, какая доля ответов верная: замер на 50–100 вопросах, собранных вместе с вами, а не проверка на глаз.
- Вы увидите, где бот ошибается: не нашёл документ, нашёл, но ответил неверно или выдумал. Лечится это по-разному.
- Вы узнаете, сколько стоят 1000 ответов сейчас и на более дешёвой модели и что с качеством у обеих.
- У вас будет план исправлений по приоритету: что даст больше всего за меньшие деньги.
Что в отчёте и как идёт аудит
- Собираем 50–100 вопросов вместе с вами
- Прогоняю бота и размечаю ответы
- Разбираю ошибки по типам
- Считаю стоимость на текущей и более дешёвой модели
- Отчёт, план исправлений и консультация
Для технических специалистов
Контрольный набор вопросов, LLM-судья с выборочной ручной проверкой, раздельная оценка поиска и генерации, сравнение моделей по цене и качеству на одном наборе. Для мониторинга — свежие тестовые вопросы и статистический тест вместо проверки на глаз.
Образец отчёта
Настоящий отчёт на примере демо-ассистента
Я проверил своего демо-ассистента по Трудовому кодексу (тот, что на странице «ИИ-ассистент по базе знаний»): 50 вопросов, доля верных ответов, ошибки по типам, стоимость 1000 ответов на разных моделях и план исправлений. Так будет выглядеть отчёт по вашему боту.
Доказательства
Мои проекты: цифры из README, ссылка на GitHub.
ai-compute-optimizer
Тот же метод, что в аудите: сравнить модели на одном наборе задач. На первых 60 задачах HumanEval (тесты на написание кода) дешёвая модель решила столько же, сколько дорогая (95%), и обошлась в 13 раз дешевле. А «умный роутер» между моделями не дал выигрыша — и это тоже вывод, который экономит деньги.
degradation-detector
Ловит тихое ухудшение ответов: свежие тестовые вопросы, LLM-судья и статистический тест вместо проверки на глаз.
drift-tracker
Прототип: показывает, какие темы пострадали при смене модели поиска, и считает план частичной переиндексации.
embedding-translator
Почему сэкономить на переиндексации не получится: переводчик закрывает лишь 16–18% разницы.
Этапы и сроки
Экспресс-аудит занимает 5–7 рабочих дней, полный — 2 недели.
- Вопросы50–100 вопросов, собранных вместе с вами.
- Прогон и разборПрогоняю бота, размечаю ответы, считаю стоимость на текущей и более дешёвой модели.
- ОтчётОтчёт, план исправлений и консультация.
Пакеты и цены
Цены «от» — ориентир; точную стоимость называю после разбора задачи.
50 вопросов, отчёт, консультация
100+ вопросов, разбор поиска и промптов, сравнение моделей по цене
Автоматическая проверка качества и сигнал при падении
Работу модели в месяц оплачивает заказчик напрямую провайдеру (на своём сервере платы за токены нет): она зависит от числа запросов и выбранной модели. Точную цифру считаю в пилоте на ваших реальных вопросах, пример расчёта — в образце отчёта.
Честные условия
Цифры, а не мнение
Доля верных ответов считается на вопросах, собранных вместе с вами.
Без привязки к подрядчику
Бота мог делать кто угодно: отчёт показывает цифры, а исправлять может любой подрядчик.
Замер до и после
Гарантирую честный замер на тех же вопросах до и после исправлений.
NDA
Подписываем до доступа к данным.
Как я оформляю работу
- Самозанятый
- Работаю как самозанятый (налог на профессиональный доход), НДС нет. Чек из приложения «Мой налог» — после каждой оплаты.
- Договор и акт
- Подписываем договор оказания услуг, по итогам этапа — акт. Физическим лицам и компаниям.
- Оплата 50/50
- 50% до начала работы, 50% после приёмки. Крупные проекты разбиваю по этапам.
- Если цель не достигнута
- Скажу об этом сам, и остановимся. Следующий этап вы не оплачиваете; оплаченная работа не возвращается.
Вопросы
Нужен доступ к коду?
Для экспресс-аудита хватит доступа к боту; с кодом и логами разбор глубже.
Бота делал другой подрядчик.
Это нормально: отчёт показывает цифры, а исправлять может кто угодно.
Гарантируете улучшение?
Гарантирую честный замер до и после исправлений на тех же вопросах.
Бесплатно: нужен ли вам аудит
Пришлите 5 вопросов, на которых бот ошибается, и название платформы — отвечу, что проверять в первую очередь и стоит ли заказывать аудит.
Что написать: на чём работает бот, 5 проблемных вопросов и что беспокоит больше: ошибки или счёт за модель. Пишите в Telegram или на почту, отвечаю в течение суток.
Что будет после обращения
- Вы пишетеЧто у вас есть (сайт, документы, каталог) и что хотите улучшить — в Telegram или на почту.
- Я уточняюЗадаю вопросы по задаче и данным; до доступа к данным подписываем NDA.
- Называю цену и срокТочную стоимость называю после разбора задачи; дальше решаете вы.