Clash of the Titans AI: ChatGPT проти Барда в битві розуму та мудрості

У сучасному світі генеративних чат-ботів на основі штучного інтелекту ми стали свідками раптової появи ChatGPT від OpenAI, представленого в листопаді, за яким у лютому пішли Bing Chat і Bard від Google у березні. Ми вирішили протестувати цих чат-ботів, виконавши низку завдань, щоб визначити, який із них домінує на арені чат-ботів ШІ. Оскільки Bing Chat використовує ту саму технологію GPT-4, що й остання модель ChatGPT, ми вирішили зосередитися на двох титанах технології чат-ботів штучного інтелекту: OpenAI і Google.

Ми протестували ChatGPT і Bard у семи важливих категоріях: жарти про батька, діалоги про суперечки, математичні задачі, узагальнення, пошук фактів, творче письмо та кодування. Для кожного тесту ми вводили ту саму інструкцію (так звану «підказку») у ChatGPT (з GPT-4) і Google Bard. Ми використали перший результат, без придирок.

Варто зазначити, що також доступна версія ChatGPT на основі попередньої моделі GPT-3.5, але ми не використовували її в тесті. Оскільки ми використовували лише GPT-4, ми називатимемо ChatGPT «ChatGPT-4» у цій статті, щоб уникнути плутанини.

Очевидно, що це не наукове дослідження, а призначене для веселого порівняння можливостей чат-ботів. Вихід може відрізнятися між сеансами через випадкові елементи, і подальші оцінки з різними сигналами дадуть різні результати. Крім того, можливості цих моделей швидко змінюватимуться з часом, оскільки Google і OpenAI продовжуватимуть їх оновлювати. Але поки що так йдуть справи на початку квітня 2023 року.

тато жартує

Щоб підігріти змагання дотепників, ми попросили ChatGPT і Барда написати кілька жартів. А оскільки татові жарти — це вершина комедії, нам стало цікаво, чи зможуть два чат-боти придумати унікальні жарти.

Підказка: напишіть 5 оригінальних жартів про тата.

З п’яти жартів про тата Барда ми знайшли три дослівно в Інтернеті за допомогою пошуку Google. Один приклад («виноград») наполовину запозичено з жартівливого твіту Мітча Хедберга , але він зіпсований невдалим каламбуром, який ми не хочемо намагатися інтерпретувати. І що дивно, є один, здавалося б, оригінальний жарт (про равлика), якого ми більше ніде не знайдемо, але який не має сенсу.

Між тим, п’ять жартів про батька ChatGPT-4 були на 100 відсотків неоригінальними, усі вони були повністю взяті з інших джерел, але вони були доставлені точно. Оскільки жарти батька, мабуть, повинні бути гідними стогону, а не розумними, здається, що Бард витіснив тут ChatGPT-4. Бард також намагався придумати оригінальні жарти (за нашими вказівками), правда, деякі з них страшенно провалилися в сороміцькій формі (що в дусі тата) і навіть, так би мовити, ненавмисно поставили йому ногу в рот ( також як тато).

Переможець: Бард