Консультации · Родион Мостовой
Разработка и внедрение ИИ-агентов и RAG-систем
Помогаю CTO и фаундерам разрабатывать и внедрять ИИ-агентов и RAG-системы, которые стабильно и надёжно работают в продакшене, а не только на демо. Подключаюсь как консультант и архитектор: разбираю, почему AI-агент ошибается на ваших данных и где теряет время, проектирую схему интеграций и собираю автоматическую оценку на реальных запросах пользователей (evals). Изменения в модели, промптах и поиске проверяются до релиза, а стоимость работы агента видна заранее.
Почему ИИ-агент работает на демо, но ошибается в продакшене
Агент путается в ваших данных и додумывает факты
На простых примерах RAG-система отвечает гладко, но на реальных документах, таблицах, чертежах или коде вытаскивает случайные куски и теряет связи. Без подготовки документов, точного поиска и реранкинга модель получает шум в контексте и выдаёт ошибочные ответы.
Правка промпта или смена модели ломает старые сценарии
Команда чинит одну ошибку в промпте и незаметно портит другие сценарии, о которых узнаёт уже от пользователей. Без набора проверочных запросов с эталонными ответами (evals) каждое обновление поиска, инструментов или модели проверяется наугад.
Ответы приходят медленно, а счета за токены растут
Агент делает лишние шаги в цикле рассуждений, перечитывает длинную историю и отправляет большие объёмы текста в дорогую модель. Пользователь долго ждёт ответа, а экономика продукта расходится при росте нагрузки.
Интеграции с внутренними базами и сервисами сбоят
При обращении во внутренний API, базу данных 1С или хранилище файлов агент передаёт неверные параметры или застревает на ошибках внешней системы. Границы инструментов размыты, и отладить цепочку вызовов в продакшене трудно.
Как строю разработку и внедрение ИИ-агентов
Работаю как консультант и архитектор вместе с вашей командой: проектируем прозрачную систему и цикл проверки качества внутри вашего продукта, а не закрытый сервис на стороне.
- 01
Схема агента и его интеграций
Разбираем сценарии, источники данных и ограничения инфраструктуры. Находим места, где агент ошибается и теряет время, разделяем задачу на обычный код и вызовы модели, проектируем маршруты и обработку ошибок.
РезультатАрхитектурная схема агента, контракты интеграций и план реализации без лишних вызовов модели.
- 02
MCP-серверы и инструменты для работы с данными
Проектируем инструменты и MCP-серверы для работы с вашими базами данных (включая базы данных 1С), API и файлами. Задаём схемы параметров, права доступа и понятные сообщения об ошибках, по которым модель исправляет свой вызов.
РезультатСпецификации и настроенные MCP-серверы с безопасным доступом к данным.
- 03
Подготовка документов, поиск и реранкинг (RAG)
Настраиваем индексацию под структуру ваших данных: юридических документов, учебных материалов, регламентов, чертежей или кода. Подбираем нарезку фрагментов, связываем поиск с реранкингом и отсекаем шум.
РезультатПайплайн RAG, который подаёт точный контекст, снижает расход токенов и ускоряет ответ.
- 04
Набор проверочных запросов с эталонными ответами (evals)
Собираем из реальных запросов пользователей и пограничных случаев датасет с эталонными ответами. Настраиваем автоматическую оценку: изменения в модели, промптах, поиске и инструментах проверяются до релиза.
РезультатАвтоматизированный набор evals, защищающий продукт от регрессий при обновлениях.
- 05
Сравнение моделей по результатам и расходам
Прогоняем evals на разных моделях и провайдерах. С помощью открытых skills Model That Fits My Task и OpenRouter Provider Ranking сопоставляем качество, скорость и стоимость токенов на ваших задачах.
РезультатТаблица выбора моделей и провайдеров с понятной стоимостью запроса в продакшене.
Что остаётся у команды после внедрения ИИ-агента
- Схема агента и его интеграций с вашими сервисами и базами данных
- MCP-серверы и спецификации инструментов для работы с данными и API
- Пайплайн подготовки документов, поиска и реранкинга (RAG) под ваши данные
- Набор проверочных запросов с эталонными ответами (evals) для проверки до релиза
- Сравнение моделей и провайдеров по результатам, скорости и расходам
- Системные промпты и документация для развития агента вашей командой
Формат под размер команды и стадию ИИ-продукта
Стартапу
Архитектурный старт
Разбираем идею, ограничения и бюджет до начала разработки. Помогаю выбрать основу продукта и разобраться, какие решения стоит проверить на прототипе.
- Подбор моделей, фреймворков и инфраструктуры
- Схема агента, RAG и первых evals
- Настройка репозитория для работы с агентами
Компании
Аудит, пилот и сопровождение
Изучаю существующую AI-систему или текущий процесс разработки и нахожу участки, где изменения дадут эффект. Проверяем подход на одной команде или сервисе, затем решаем, что переносить на остальные.
- Разбор кодовой базы, архитектуры и процессов
- План пилота и метрики до и после изменений
- Передача практик команде и техническое сопровождение
Кейсы, продукты и открытые инструменты для ИИ-агентов
Более 13 лет в разработке: пишу на C#/.NET с 2013 года, работал CTO и тимлидом продуктовой команды, три года преподавал backend-разработку. Создаю собственные AI-продукты и веду консалтинг, аудит и проектную работу: юридические сервисы, корпоративное обучение, базы данных 1С.
- ИсследованиеRepoContextBench: как контекст влияет на работу агентаВ RepoContextBench сравнили CodeAlive и OpenCode на 40 вопросах по двум open-source репозиториям на одной модели DeepSeek V4.1 Flash. Качество исследования кодовой базы составило 65 против 47 баллов из 100, ответ в 3 раза быстрее и в 3,6 раза меньше токенов на репозитории в 1,5 млн строк.
- ПродуктCodeAliveRAG-движок поиска по коду и документации (2024-2026, основатель). База знаний о проекте, агентное исследование кодовой базы и AI code review с учётом связей между компонентами.
- ПродуктARAI.buildAI-агент для архитекторов и проектировщиков (2026, создатель). Помогает работать с чертежами и нормативами, поддерживает файлы DWG.
- SkillModel That Fits My TaskВыбор модели под задачу по актуальным данным о качестве, контексте и стоимости.
- SkillOpenRouter Provider RankingВыбор провайдера в OpenRouter по цене, скорости и качеству.
- КаналКанал AI-Driven DevelopmentАвторский канал (9K+ подписчиков): разборы агентной разработки, RAG и evals, эксперименты с моделями.
Частые вопросы
Чем ИИ-агент отличается от чат-бота и всегда ли нужен агент?
Чат-бот идёт по жёсткому сценарию или отвечает по одному найденному фрагменту, а AI-агент сам планирует шаги, вызывает инструменты через MCP, проверяет результат и работает с базами данных. Усложнять систему без нужды не стоит: на разборе проверяем, какие шаги можно заменить обычным кодом и точечным RAG-поиском. Там, где это возможно, решение работает быстрее, обходится дешевле и проще в отладке.
Чем работа с вами отличается от заказа разработки в агентстве?
Я подключаюсь как консультант и AI Architect вместе с вашей командой: помогаю спроектировать схему агента и RAG, настроить MCP-серверы и собрать автоматическую проверку на evals. Архитектура, проверочные запросы, контроль над стоимостью и экспертиза остаются внутри вашей компании.
В каких бизнес-процессах вы применяли ИИ-агентов и RAG?
Помимо собственных продуктов для поиска по коду и документации (CodeAlive) и работы с чертежами DWG и нормативами (ARAI.build), я работал с задачами для юридических сервисов, корпоративного обучения и баз данных 1С. Во всех этих сферах важно, чтобы агент опирался строго на документы и схему данных, не додумывал детали и безопасно вызывал инструменты. Кейсы и детали пришлю по запросу.
Что такое evals и как проверяется качество LLM и RAG-системы до релиза?
Без автоматической оценки любая правка промпта, нарезки документов или смена модели проверяется вручную на паре примеров, а ошибки всплывают в продакшене. Мы собираем набор проверочных запросов пользователей с эталонными ответами и критериями оценки. Перед релизом этот набор прогоняется автоматически и показывает, как изменились точность ответов, скорость и расход токенов.
Можно ли ускорить и улучшить агента без смены модели?
Часто да: агент ошибается, тормозит и тратит бюджет из-за плохой подачи контекста и лишних шагов поиска. В RepoContextBench оба агента отвечали на 40 вопросов по двум open-source репозиториям на одной модели DeepSeek V4.1 Flash: точная работа с контекстом дала 65 против 47 баллов из 100, ответ в 3 раза быстрее и в 3,6 раза меньше токенов на репозитории в 1,5 млн строк. На аудите мы так же находим узкие места в вашем RAG и проверяем улучшения на метриках.
Сколько стоит консультация, аудит или сопровождение по ИИ-агентам?
Стоимость зависит от объёма задачи: стартапу перед разработкой достаточно архитектурного старта, а компании нужен аудит существующей AI-системы, сбор evals и пилот. Напишите в Telegram пару слов о вашей задаче и стадии продукта. После короткого разбора я предложу формат работы и назову стоимость.
Обсудить разработку и внедрение ИИ-агента
Напишите, что хотите изменить и где сейчас возникла сложность с агентом или RAG. Разберём задачу, по запросу пришлю кейсы и выберем подходящий формат работы.