Inside AI Meetup

Векторный поиск — элемент 2-stage модерационных моделей, позволяющий снизить Time to market модерации без дополнительного обучения моделей. Расскажем весь пайплайн: от первых моделей до появления универсальных детекторов на основе векторного поиска, о технических сложностях сбора данных, реализации высоконагруженных детекторов. На практических примерах покажем преимущества векторных детекторов по сравнению с обычными one-stage детекторами.

Расскажу про то, что разработка и интеграция в продукт ИИ решений на самом деле из себя представляет.

Часто все представляют это так (и сильно ошибаются): скачал пару open-source библиотек, настроил промпты, прокинул API до LLM. Обсудим, что в реальности кроется за тем, чтобы вывести в прод LLM-based сервисы, какие этапы предстоит пройти, что точно делать не стоит, про что точно стоит не забыть.

Расскажем кто такой ваш этот AIOps и как он помогает решать проблемы, возникающие при промышленной эксплуатации ML и GenAI сервисов требующих большого количества дорогостоящих ресурсов.

В докладе будет наш опыт внедрения AIOps платформы KeepHQ, как она помогла нам повысить утилизацию ресурсов нашего ресерч кластера и сотни продовых ML сервисов в 1.5 раза, а также автоматизировать процесс реагирования и контроля разрешения поступающих алертов.