Записи / без календаря трендов

Наблюдения из рабочего контура.

Здесь нет прогнозов о том, что ИИ однажды изменит всё. Меня интересуют вещи, которые уже мешают внедрению: спорные справочники, ручная приёмка, изменившиеся требования и система без хозяина.

Стилизованная иллюстрация с Петром Жоговым за разбором аналитики — Редакционная иллюстрация. Данные на экранах условны и не относятся к внутренней аналитике компании.

NOTE 01
Экономика контроля

Модель может быть быстрой. Процесс всё равно останется медленным.

Показывать время генерации удобно. Считать нужно всю цепочку до принятого результата.

После ответа модели начинается менее эффектная работа: сотрудник открывает результат, сверяет факты, ищет визуальную ошибку, возвращает спорный случай и снова принимает. Если этот хвост не измерять, автоматизация существует только в отчёте.

Я считаю время человека, долю возвратов, повторную обработку и цену незамеченной ошибки. Это быстро отрезвляет. Иногда модель стоит заменить. Иногда достаточно изменить форму входных данных или вынести один тип ошибки в отдельную проверку.

Human-in-the-loop не обязан исчезнуть. Он обязан стать управляемым и со временем оставлять человеку всё меньше рутины.

NOTE 02
Данные и НСИ

Большая модель не примирит два справочника.

Если отделы называют одно и то же разными словами, AI не исправляет конфликт. Он делает его быстрее.

Перед RAG или аналитическим контуром приходится разбираться с прозаичными вопросами. Какой документ главный? Кто обновляет термин? Что делать, если карточка товара и техническая таблица расходятся? Можно ли показать пользователю источник ответа?

Модель хорошо работает поверх согласованного основания. Без него она подбирает правдоподобную версию, и именно это опасно: ответ выглядит аккуратнее исходных данных.

Поэтому НСИ, владельцы справочников и версии документов входят в архитектуру наравне с моделью. Это не подготовительная уборка. Это часть системы.

NOTE 03
Версии

Одно новое пожелание способно сломать массовый выпуск.

Штучную работу можно поправить на ходу. В потоке это превращается в несколько несовместимых правил одновременно.

Представим пакет материалов. После первой единицы появляется новая формулировка, после третьей меняется визуальный критерий, после пятой уточняется источник факта. К концу пакета уже невозможно объяснить, по какой версии сделана каждая работа.

Решение скучное и надёжное: фиксируем требования, выпускаем пакет, принимаем его целиком, а замечания собираем в следующую версию. Срочная ошибка может остановить выпуск. Обычное улучшение ждёт своей итерации.

Пакетная приёмка нужна ради воспроизводимости.

NOTE 04
Объяснимость

«Похоже» недостаточно, если за ответом следует действие.

Человек должен видеть основание, уровень уверенности и маршрут спорного случая.

В рекомендательном или аналитическом контуре одного совпадения мало. Нужно понимать, какие признаки сравнивались, какие данные отсутствовали и почему система предложила именно этот результат.

Объяснимость помогает приёмке, но у неё есть ещё одна работа. Она превращает ошибку в материал для следующей версии. Без основания команда видит лишь неверный ответ. С основанием можно найти плохой источник, неверное правило или порог, который требуется изменить.

Непонятное решение нельзя нормально улучшать. Его можно только заменить другим непонятным решением.

Фразы, которые держат процесс в форме.

FIELD / A

Ошибка остаётся в истории

Неудачный результат сохраняют, классифицируют и используют для теста следующей версии.

FIELD / B

Backup проверяют восстановлением

Копия без отработанного возврата даёт ложное чувство безопасности.

FIELD / C

У каждого сигнала есть действие

Метрика без владельца и реакции украшает экран, но не меняет процесс.

FIELD / D

Новая идея встаёт в очередь

Портфель теряет смысл, если каждая гипотеза сразу становится срочной.

Консультация

Обсудить задачу, где модель уже не главный вопрос.

Записаться на консультацию