ChatGPT продовжує стрімко деградувати

ChatGPT продовжує деградувати. Вчені Стенфордського університету та Каліфорнійського університету в Берклі дійшли висновку, що штучний інтелект тепер гірше виконувує деякі елементарні математичні операції. Вчені назвали цей феномен – "дрейф". ChatGPT, кажуть експерти, намагається вдосконалити одну частину складної моделі ШІ, що призводить до погіршення роботи інших областей.

Висновок про деградацію дало порівняння двох версій – вчені працювали з безкоштовною та доступною для всіх версією 3.5 та 4.0, яка доступна за підпискою.

Чат-бот повинен був визначити, яке число є простим (натуральне число, яке ділиться лише на одиницю та на себе). Людина не може швидко оцінити, чи є число простим, якщо воно досить велике, а комп'ютер може, перевіривши його подільність на 2, 3, 5 і т. д. Основу тесту склала вибірка з 1000 чисел.

Якщо у березні ChatGPT - 4 давав правильні відповіді у 84% випадків, що вже поганий результат для комп'ютера, то в червні в результаті погіршився до 51%. При цьому результати ChatGPT – 3.5 ще гірші.

Вчені вважають, що коли випускаються нові версії моделей, пріоритетом є "розум" нових моделей.

Окрім математичних завдань, вчені запропонували чат-ботам відповісти на 1500 питань. У березні ChatGPT-4 відповів на 98% запитань, а в червні – на 23%, при цьому відповіді були короткими.

Зазначимо, у липні вчені зі Стенфордського університету опублікували дослідження, в якому стверджувалося, що можливості GPT-4 у генерації коду також постраждали. Березнева версія GPT-4 успішно справлялася з 52% таких завдань, у червневому варіанті продуктивність впала до 10%.

Експерти вважають, що ChatGPT може дурніти з двох причин - занадто багато обмежень, введених розробниками з міркувань безпеки та політкоректності або надто часте спілкування з людьми.