ИИ на вашем сервере: документы и данные клиентов не покидают компанию
Открытая модель внутри вашего контура или российское облако — выбираю по замеру на ваших задачах, а не на слово.
Для кого: Компании с персональными данными: клиники, юристы, финансы, госзаказ
- Документы
- Поиск по документам
- Модель
- Сотрудник
Знакомо?
Если узнаёте хотя бы одно из этого — эта страница для вас.
- Служба безопасности запретила ChatGPT, а сотрудники всё равно копируют туда документы.
- Данные клиентов нельзя передавать за рубеж.
- Непонятно, какое железо покупать и не выбросить ли деньги на модель, которая плохо понимает русский.
Три варианта размещения
| Вариант | Где данные | Что нужно от вас | Когда подходит |
|---|---|---|---|
| Российская модель в облаке (YandexGPT, GigaChat) | В России, у провайдера | Договор с провайдером | Нужно быстро, данные не секретные, но должны оставаться в РФ |
| Открытая модель на вашем сервере | Только у вас, можно без интернета | Сервер, обычно с видеокартой | Коммерческая тайна, медицина, финансы |
| Гибрид | Документы и поиск у вас; наружу уходят только обезличенные фрагменты | Обычный сервер без видеокарты | Нужно качество сильной модели, а персональные данные нельзя отдавать |
Что вы получите
- Данные останутся в вашем контуре или в российском облаке — по выбранному варианту.
- Вы увидите в цифрах, как 2–3 модели справляются с вашими задачами, и выберете модель до покупки железа.
- Вы узнаете, сколько стоят железо и владение им, ещё до начала развёртывания.
Как это работает
- Разбираю задачи и ограничения службы безопасности
- Сравниваю 2–3 модели на ваших данных
- Считаю железо и стоимость
- Ставлю модель и поиск по документам
- Передаю инструкцию вашему ИТ
Для технических специалистов
Открытые модели (семейство Qwen и др.) через Ollama или аналоги, квантизация под имеющееся железо, дообучение с проверкой, что модель не потеряла общие навыки. Гибрид: поиск по документам внутри контура, наружу — только обезличенные фрагменты.
Доказательства
Мои проекты: цифры из README, ссылка на GitHub.
continual-lm
Дообучение открытой модели Qwen2.5-0.5B порциями: 29 прогонов, на учебных задачах (на английском) модель обогнала исходную (ответы по тексту 0,60 против 0,37) и сохранила 95% умения следовать инструкциям (один итоговый прогон, 152 проверочные инструкции). Модель опубликована и запускается на обычном компьютере без видеокарты; для дообучения хватает одной видеокарты на 16 ГБ.
hiring-optimizer
Локальный режим на Ollama: резюме обезличиваются до модели, данные организаций разделены, есть согласие, удаление и выгрузка персональных данных.
semantic-cryptography
Исследование: популярная «защита» векторов шумом не защищает, 99,9% записей узнаются обратно; секретный поворот векторов тоже — 100% при сотне известных пар. Посыл для клиента: «ложную защиту я вам не продам».
Этапы и сроки
После каждого этапа можно остановиться.
- РазборЗадачи и ограничения службы безопасности.
- Подбор и тест2–3 модели на ваших задачах, расчёт железа и стоимости, 1 неделя.
- РазвёртываниеМодель и поиск по документам на вашем сервере, 3–5 недель.
- ПередачаИнструкция для вашего ИТ.
Пакеты и цены
Цены «от» — ориентир; точную стоимость называю после разбора задачи.
Сравнение 2–3 моделей на ваших задачах, расчёт железа и стоимости
Модель и поиск по документам на вашем сервере, инструкция для ИТ
Модель под ваши формулировки и термины, с проверкой, что она не разучилась общему
Работу модели в месяц оплачивает заказчик напрямую провайдеру (на своём сервере платы за токены нет): она зависит от числа запросов и выбранной модели. Точную цифру считаю в пилоте на ваших реальных вопросах, пример расчёта — в образце отчёта.
Железо в цену не входит: нужен свой сервер с видеокартой или аренда в облаке. Подходящую конфигурацию и её стоимость считаю в пакете «Подбор и тест», до покупки.
Честные условия
Замер до покупки железа
Модели сравниваю на ваших задачах, а не на слово.
Граница ответственности
Техническую часть — данные не выходят из контура — делаю я. Юридическую оценку даёт ваш юрист.
Код и данные ваши
Результаты работы остаются у вас.
NDA
Подписываем до доступа к данным.
Как я оформляю работу
- Самозанятый
- Работаю как самозанятый (налог на профессиональный доход), НДС нет. Чек из приложения «Мой налог» — после каждой оплаты.
- Договор и акт
- Подписываем договор оказания услуг, по итогам этапа — акт. Физическим лицам и компаниям.
- Оплата 50/50
- 50% до начала работы, 50% после приёмки. Крупные проекты разбиваю по этапам.
- Если цель не достигнута
- Скажу об этом сам, и остановимся. Следующий этап вы не оплачиваете; оплаченная работа не возвращается.
Вопросы
Открытая модель хуже ChatGPT?
Обычно да, поэтому сначала тест на ваших задачах: вы увидите разницу в цифрах до покупки железа.
Какой нужен сервер?
Зависит от модели и числа пользователей; расчёт — часть пакета «Подбор и тест». Сам сервер в цену работ не входит.
Работает без интернета?
Да, во втором варианте.
Это закрывает 152-ФЗ?
Техническую часть — данные не выходят из контура — делаю я. Юридическую оценку даёт ваш юрист.
Бесплатно: какой из трёх вариантов вам подходит
Опишите задачу и ограничения службы безопасности — отвечу, какой вариант размещения подходит и что понадобится для теста моделей.
Что написать: какие данные нельзя выпускать из компании и для какой задачи нужен ИИ. Пишите в Telegram или на почту, отвечаю в течение суток.
Что будет после обращения
- Вы пишетеЧто у вас есть (сайт, документы, каталог) и что хотите улучшить — в Telegram или на почту.
- Я уточняюЗадаю вопросы по задаче и данным; до доступа к данным подписываем NDA.
- Называю цену и срокТочную стоимость называю после разбора задачи; дальше решаете вы.