«Угадай за 20»: как играть и оценивать ответы

Как начать игру и что считается результатом

Инструмент представляет собой веб-форму с текстовым полем для ввода инструкций. Вы выбираете язык вывода, нажимаете «Сгенерировать» и получаете один результат в отдельной панели. В игре «Угадай за 20» ИИ загадывает обычный предмет, а вы задаёте вопросы, на которые можно ответить только «да», «нет» или «иногда». Цель — угадать предмет за двадцать вопросов или меньше. Результатом является либо угаданный предмет, либо исчерпание попыток.

Качество результата оценивается по трём критериям: точность (ответы ИИ соответствуют загаданному предмету), полнота (игра завершается успешно или даёт достаточно информации для догадки) и пригодность (ответы логичны, не противоречат друг другу и соответствуют правилам). Важно понимать, что ИИ может ошибаться, а очередь и доступность могут варьироваться.

Пример: вы начинаете игру с фразы «Выбери обычный предмет. Я задам до двадцати вопросов с ответами да или нет». ИИ отвечает: «Хорошо, я загадал предмет». Далее вы спрашиваете: «Этот предмет больше ладони?» — «Да». «Он используется на кухне?» — «Иногда». И так далее.

Выбери обычный предмет. Я задам до двадцати вопросов с ответами да или нет.

Проверка точности ответов

Точность — ключевой критерий. Если ИИ загадал, например, «яблоко», а на вопрос «Это съедобно?» отвечает «Нет», это ошибка. Чтобы проверить точность, нужно после угадывания или в конце игры запросить подтверждение: «Какой предмет ты загадал?» и сравнить с ответами. Если ответы противоречат предмету, точность низкая.

В нашем примере: загадан «зонт». Вопросы: «Это больше ладони?» — «Да». «Это используется на улице?» — «Да». «Это нужно для защиты от дождя?» — «Да». «Это зонт?» — «Да». Все ответы точны. Если бы на вопрос «Это нужно для защиты от дождя?» ИИ ответил «Нет», это было бы ошибкой.

Стоит учитывать, что ИИ может отвечать «иногда» на вопросы, где ответ неоднозначен. Например, «Это используется на кухне?» для зонта — «Иногда» (если зонт хранится на кухне). Это допустимо, но может запутать. Проверяйте, насколько ответы соответствуют реальности.

Полнота: хватает ли информации для догадки

Полнота означает, что за двадцать вопросов можно с достаточной вероятностью угадать предмет. Если ИИ даёт слишком общие ответы или уходит от темы, игра становится неинтересной. Оценивайте, сколько вопросов потребовалось для угадывания. Если вы угадали за 10–15 вопросов, полнота хорошая. Если за 20 и не угадали — возможно, предмет был слишком сложным или ответы недостаточно информативными.

В примере с зонтом: вопросы охватили размер, место использования, функцию. Этого хватило. Если бы ИИ на вопрос «Это используется на улице?» ответил «Иногда», а на «Это нужно для защиты от дождя?» — «Нет», догадаться было бы сложнее. Полнота страдает, если ИИ часто отвечает «иногда» без необходимости.

Проверяйте, не противоречат ли ответы друг другу. Например, «Это больше ладони?» — «Да», «Это можно положить в карман?» — «Да» может быть противоречием для зонта. Такие несоответствия снижают полноту.

Пригодность: логика и соответствие правилам

Пригодность — это насколько ответы логичны и соответствуют правилам игры. ИИ должен отвечать только «да», «нет» или «иногда». Если он начинает давать развёрнутые ответы или задавать встречные вопросы, это нарушение. В нашем инструменте ответы должны быть краткими. Проверяйте, не выходит ли ИИ за рамки.

Также важно, чтобы ИИ не менял загаданный предмет в процессе. Если вы спросили «Это съедобно?» — «Нет», а потом «Это яблоко?» — «Да», это явное противоречие. Пригодность низкая. В примере с зонтом все ответы логичны и последовательны.

Ещё один аспект — язык. Вы можете выбрать язык вывода. Убедитесь, что ИИ отвечает на выбранном языке. Если вы выбрали русский, а ответы на английском, это снижает пригодность.

Конкретный пример оценки

Рассмотрим вымышленный пример для иллюстрации. Вы запускаете игру с инструкцией: «Выбери обычный предмет. Я задам до двадцати вопросов с ответами да или нет». ИИ отвечает: «Предмет загадан». Вы задаёте вопросы: 1. «Это больше ладони?» — «Да». 2. «Это используется в помещении?» — «Нет». 3. «Это используется на улице?» — «Да». 4. «Это нужно для защиты от солнца?» — «Иногда». 5. «Это нужно для защиты от дождя?» — «Да». 6. «Это зонт?» — «Да». Игра завершена за 6 вопросов.

Оценка: точность — все ответы соответствуют зонту (высокая). Полнота — информация достаточна для быстрой догадки (высокая). Пригодность — ответы краткие, логичные, на русском языке (высокая). Однако ответ «иногда» на вопрос о защите от солнца может быть спорным: зонт от солнца существует, но обычно зонт ассоциируется с дождём. Это допустимо, но снижает однозначность.

Если бы ИИ на вопрос «Это нужно для защиты от дождя?» ответил «Нет», а потом вы угадали зонт, точность была бы низкой. Если бы на вопрос «Это больше ладони?» ответил «Нет», это тоже ошибка. Поэтому всегда проверяйте ответы на соответствие.

Вопрос: «Это больше ладони?» — Ответ: «Да». Вопрос: «Это используется на улице?» — «Да». Вопрос: «Это нужно для защиты от дождя?» — «Да». Вопрос: «Это зонт?» — «Да».

Ограничения инструмента

Инструмент имеет ограничения. Ввод в первое поле — до 8000 символов, в поле деталей — до 1000. Для речи — до 3000 символов, для изображений — до 4 МБ, для аудио — до 20 МБ или 5 минут. Ответы модели могут содержать ошибки, а очередь и доступность могут варьироваться. Нет пакетной обработки, автоматического сохранения, интеграций, OCR, панелей настроек, экспорта в DOCX или PDF. Только копирование или скачивание простого текста TXT. Векторы только SVG и PNG. Речь eSpeak WAV. Субтитры SRT. Нет генерации фотореалистичных изображений, аудио или видео, клонирования голоса, премиум-плана, регистрации.

В игре «Угадай за 20» ИИ может иногда давать неточные ответы или путаться, если предмет сложный. Он не гарантирует, что вы угадаете за двадцать вопросов. Также он не предназначен для профессиональных задач — это развлекательный инструмент.

Важно: не отправляйте аудио в ИИ, если оно транскрибируется локально. Изображения — это векторные композиции, а не фотореалистичная генерация. Не ждите, что инструмент заменит живое общение.

Как улучшить качество игры

Чтобы повысить качество, формулируйте вопросы чётко и последовательно. Начинайте с общих категорий: «Это живое?», «Это съедобное?», «Это используется в быту?». Затем переходите к более конкретным. Избегайте двусмысленных вопросов, на которые ИИ может ответить «иногда» без пользы.

Если ИИ даёт противоречивые ответы, попробуйте переформулировать вопрос. Например, вместо «Это используется на кухне?» спросите «Это кухонная утварь?». Это поможет получить более точный ответ. Также можно попросить подсказку, если правила игры это позволяют.

Помните, что ИИ не идеален. Если ответы кажутся странными, возможно, предмет был загадан неудачно. В таком случае начните новую игру. Оценка качества — это субъективный процесс, но следуя критериям точности, полноты и пригодности, вы сможете объективно оценить результат.