Нейросеть отлично справилась с демонстрацией. А на документах компании начала ошибаться: перепутала тип обращения, ответила по старой инструкции, пропустила валюту в непривычном счёте. Такое вполне может случиться, даже если модель хорошо пишет и убедительно объясняет свои решения. Прежде чем заменять её на более крупную, стоит разобраться, чего ей не хватило.
WowCash AI мы развиваем именно для прикладной работы: подобрать данные, подготовить датасет, обучить или дообучить модель под задачу компании. Если вопрос решается поиском по документам, можем построить решение вокруг него. Если нужны только данные, их можно заказать отдельно и передать своей команде разработки.
Для обучения у нас работают кластеры NVIDIA H200. Используем данные клиента и доступные внешние материалы: новости, рыночные наблюдения, сведения о компаниях, экономические показатели и события. Есть и массивы для экспериментов, и вычислительная база. Остаётся главное: определить, какую работу мы хотим поручить модели и как проверим результат.
Сначала задача, затем датасет
Допустим, компания хочет ускорить обработку входящих документов. Формулировка понятная, но для разработки её недостаточно. Нужно ли определить тип документа, извлечь реквизиты, найти противоречие или подготовить черновик ответа? Для каждого варианта требуются свои примеры и свои критерии проверки.
Классификатору потребуются документы с понятными метками. Извлечение сведений проверяют по правильно заполненным полям, в том числе на сложных примерах. А поиск оценивают через вопросы и документы, в которых действительно есть ответ. Архив у компании один, но готовить из него придётся разные наборы.
В заказ можно включить отбор, очистку, работу с повторами, разметку и разделение на обучающую и проверочные части. Заранее обсуждаем языки, географию, период и обязательные поля. Это позволяет оценить будущий набор на образце, пока ещё легко поменять состав данных.
Откуда берутся данные для обучения
Внешние материалы поступают в WowCash AI из нашего проекта WowCash Crawler. Его инфраструктура собирает и обрабатывает сотни гигабайт разнородных данных ежедневно. Как устроены исходные массивы, структурированные записи и режимы поставки, разбираем в статье о сборе данных для ИИ и аналитики в WowCash Crawler. Здесь речь уже о том, как превратить подходящий материал в датасет и рабочую модель.
Можно объединить новости и публичные сообщения компаний с наблюдениями за рынками, курсами валют, ценами металлов и экономическими публикациями. Для других исследований полезны погодные наблюдения и природные события. Покрытие, перечень показателей и глубина истории определяются по фактически доступным записям, а не по общему названию источника.
История продаж, обращения клиентов, каталоги и внутренние инструкции описывают то, чего может вообще не быть в открытых источниках: вашу работу. Их включаем в заказной проект на согласованных условиях. Задачи с изображениями, аудио и видео тоже можно обсудить, но состав источников, отбор и разметку для них определяем отдельно. Готовый набор на любую тему заранее не обещаем.
История должна оставаться историей
При подготовке данных легко незаметно дать модели сведения из будущего. Например, новость описывает утреннее событие, но опубликована вечером. Если поставить её в утренний ряд наблюдений, проверка покажет, будто система могла использовать этот текст до его появления. Результат будет выглядеть лучше, чем он работал бы в реальности.
Поэтому WowCash AI сохраняет исходные записи и время получения. В исследовании различаем момент события, дату публикации и момент доступности информации системе. У официального дневного значения, рыночного снимка и периодической отчётности разная частота обновления. Их нельзя автоматически считать одновременными наблюдениями.
Когда изучаем связь новостей с изменением показателей, найденное совпадение остаётся гипотезой. Его нужно проверять на других периодах, учитывать сезонность и возможные альтернативные объяснения. Тематическая связь публикации с компанией сама по себе не доказывает влияние этой публикации на рынок.
Когда нужен RAG, а когда дообучение
Если сотрудник ищет ответ в действующих инструкциях, необязательно переобучать нейросеть при каждом изменении документа. Можно использовать RAG: система находит подходящие фрагменты и передаёт их модели вместе с вопросом. Документы обновляются в базе знаний, а параметры самой модели при таком поиске не меняются.
Дообучение решает другую задачу. Через примеры оно адаптирует поведение готовой модели: помогает соблюдать принятую классификацию, нужный формат ответа и особенности предметной области. В некоторых проектах уместна отдельная специализированная модель. Подход выбираем с учётом данных, скорости обработки, стоимости эксплуатации и требований к размещению.
Иногда нужны оба подхода: поиск находит свежую инструкцию, а адаптированная модель оформляет ответ в принятом виде. Иногда хватает только поиска. Это выясняется на примерах компании, когда становится видно, в какой части решения возникают ошибки.
Что можно поручить заказной модели
Поддержка. Определять тему обращения, направлять его подходящему специалисту, находить инструкцию и готовить черновик ответа. Для обучения пригодятся обезличенные обращения и проверенные ответы. Сложные случаи, ограничения и передачу человеку нужно описать в задании.
Документы. Находить нужные сведения в договорах, отчётах и заявках. Здесь важны примеры реального документооборота: привычные для компании сокращения, разные шаблоны и неполные записи. Проверять будем не выразительность текста, а правильность извлечённых полей.
Планирование. Исследовать спрос, дополняя историю продаж календарём, погодой и внешними событиями. Возможны задачи в закупках, энергетике, агробизнесе и логистике. Это направления разработки, а не гарантия точного прогноза. География и детализация наблюдений должны соответствовать объектам исследования.
Аналитика и поиск. Классифицировать отраслевые публикации, выделять темы обратной связи, готовить материалы для обзора или искать ответы в корпоративной базе знаний. В последнем случае отдельно учитываем права пользователя на документы. Модель не должна расширять доступ к материалам только потому, что умеет их пересказывать.
H200 дают вычисления. Качество проверяется отдельно
Обучение можно поручить нам, не собирая для него собственную вычислительную инфраструктуру. В WowCash AI уже работают кластеры NVIDIA H200. На них выполняем согласованные эксперименты с выбранной моделью и подготовленными данными. Само оборудование, конечно, не исправит неверную разметку и не подскажет, какой ответ полезен вашему сотруднику.
Возьмём ту же обработку счетов. Если модель извлекла все поля, но ошиблась в сумме, такой документ придётся исправлять. Если оператор проверяет её ответ дольше, чем раньше заполнял карточку вручную, задача тоже остаётся нерешённой. Поэтому заранее обсуждаем не только правильность полей, но и время обработки, и работу, которая остаётся человеку. Для классификатора отдельно смотрим важные категории, а ответы помощника сверяем с источниками.
Проверять нужно на примерах, которых модель не видела во время обучения. Начать можно с одного типа документов: собрать отдельную проверочную выборку, разобрать ошибки и решить, что делать дальше. Расширять применение имеет смысл после такой проверки, а не потому, что демонстрация получилась убедительной.
Как начать проект с WowCash AI
Не нужно присылать весь архив. Покажите на обезличенном примере, что сотрудник получает сейчас и что должен получить в итоге. Если уже пробовали нейросеть, приложите её ответ и объясните, что с ним не так. Так будет проще отделить нехватку данных от ошибки поиска или поведения самой модели.
WowCash AI доступен только клиентам. Перед передачей корпоративных материалов договоримся о конфиденциальности, размещении и допустимом использовании. Затем сможем оценить сроки и стоимость: на них влияют и готовность данных, и объём разметки, и сложность задачи, и подключение решения к вашим системам.
Напишите об этом в заявке на сайте WowCash. Можно заказать только датасет для своей команды или обсудить работу с моделью вместе с нами. Подробное техническое задание составим после того, как разберём ваши примеры.