Искусство общения с AI: Мастерство создания инструкций для языковых моделей

Надеюсь, ответы были не только информативными, но и развлекательными. Если у вас есть еще вопросы, не стесняйтесь – я здесь всю неделю!

Gemini Advanced (Google)

Ответы согласно промту

Ответы:

Столица Франции – Париж.

Роман "Война и мир" написал Лев Толстой.

Вторая мировая война началась в 1939 году.

Самая длинная река в мире – Нил.

Телефон изобрел Александр Грэхем Белл.

LLaMA 3.1 405B

Ответы согласно промту

Столица Франции – Париж.

Роман "Война и мир" написал Лев Толстой.

Вторая мировая война началась в 1939 году.

Самая длинная река в мире – Нил.

Телефон изобрел Александр Грейам Белл.

Mistral Large 2

Ответы согласно промту

Столица Франции – Париж.

Роман "Война и мир" написал Лев Толстой.

Вторая мировая война началась в 1939 году.

Самая длинная река в мире – Нил.

Телефон изобрел Александр Белл.

Оценка качества ответов моделей этап 1

Для оценки ответов моделей на простые вопросы приведем критерии, по которым будем их оценивать:

Точность ответа: насколько точны ответы.

Полнота ответа: учтены ли все важные аспекты вопроса.

Стиль ответа: насколько стиль ответа соответствует ожидаемому (короткий и по существу, развлекательный или смешанный).

Дополнительные детали: насколько полезны дополнительные сведения.

На основе этих критериев оцениваем модели:

Анализ:

GPT-4 и Claude 3.5 Sonnet предоставили наилучшие ответы. Они включили дополнительные детали и сохранили высокий уровень точности.

GigaChat, YandexGPT 3, Gemini Advanced, LLaMA 3.1, Mistral Large 2 также продемонстрировали хорошие результаты, но не предоставили столь же детальных ответов или соответствующих дополнений.

Grok 2mini показал более развлекательный, но менее точный стиль, что снизило его общую оценку.

Таким образом, GPT-4 и Claude 3.5 Sonnet выходят лидерами на этом этапе тестирования.

Этап 2: Вопросы с уточнениями

Теперь усложним задачу, добавив в промпты просьбы задавать уточняющие вопросы, если модели потребуется дополнительная информация для ответа.

Вопросы:

"Напиши мне рецепт." [Просьба уточнить: Прежде чем начать, задай мне уточняющие вопросы, если тебе потребуется дополнительная информация.]

"Создай логотип для моей компании." [Просьба уточнить: Какие детали о моей компании и целевой аудитории могут быть важны для создания логотипа?]

"Посоветуй мне книгу для чтения." [Просьба уточнить: Какой жанр литературы ты предпочитаешь? Какие книги ты уже читал(а)?]

"Помоги мне спланировать отпуск." *[Просьба уточнить: Куда ты хочешь поехать? На какой срок? Какой у тебя бюджет?] *

"Напиши мне стихотворение." *[Просьба уточнить: О чем ты хочешь, чтобы было стихотворение? Какой стиль или настроение ты предпочитаешь?] *

Ожидания:

На этом этапе мы ожидаем, что модели продемонстрируют способность распознавать ситуации, когда информации недостаточно, и задавать релевантные уточняющие вопросы. Это позволит им получить более полный контекст и сгенерировать более точные и полезные ответы.

Результаты ответов моделей этап 1

GPT-4 (OpenAI)

Ответы согласно промпту:

Я отвечу на твои запросы, как будто я эксперт в каждом из этих направлений.

"Напиши мне рецепт."