В этой инструкции — как создать LLM-продукт, начиная с этапа разработки прототипа. Предполагаю, что вы уже прошли стадии проверки идеи и концепции продукта: определили целевую аудиторию, подтвердили востребованность решения и техническую осуществимость.
<aside> ⚠️
Дисклеймер: инструкция фокусируется на специфике разработки LLM-продуктов — оценке качества, итерациях с моделями, безопасности. Общие продуктовые процессы (пользовательские интервью, A/B-тесты, аналитика) рассматриваются поверхностно — используйте стандартные подходы для их проведения.
</aside>
Цель — выбить качество на оффлайн корзинке
Качество — важнейший вызов в создании LLM-продукта. Если LLM-продукт будет работать некачественно, никакой интерфейс его не спасёт. Первое, что нужно сделать — собрать бенчмарк — определить, с какими входящими данными будет работать LLM-продукт, и что считать качественным ответом.
<aside> 💡
Бенчмарк = корзинка входящих данных + правильные ответы / критерии качественного ответа
</aside>
Собери датасет хотя бы из 100 потенциальных входящих данных (лучше — 400-600). Чем качественнее собраны данные на старте, тем выше шанс, что они совпадут с реальными, и не придется переделывать решение.
Способы сбора входящих данных по убыванию качества: