Виталик Бутерин определяет область, где человек сохраняет преимущество над ИИ

Виталик Бутерин указывает на ограничение ИИ: несмотря на свои обширные знания, ему трудно оценить глубину текста, особенно когда он сталкивается с ним впервые. Для соучредителя Ethereum это различие между знанием и мудростью заслуживает особого внимания.

Вкратце

• 29 октября Виталик Бутерин описывает ИИ как «крайне знающего», но «не очень мудрого», особенно когда речь идет об оценке текста.
• По его словам, модели сталкиваются с большими трудностями при работе с новыми текстами, которые не имеют человеческих комментариев в своих обучающих данных.
• Он также подчеркивает важное различие: знания модели можно легко проверить, но гораздо сложнее измерить ее мудрость.

ИИ знает ссылки, но понимает ли идеи?

Виталик Бутерин регулярно выражает свои сомнения по поводу ИИ-агентов, как в октябре с его «параноидальным режимом». 29 октября в 4:11 UTC он опубликовал новую мысль в ответ на писательницу Руксандру Тесло.

Обсуждение последовало за статьей Wall Street Journal о Humanities 10, курсе первого года в Гарварде, который запрещает студентам использовать телефоны и компьютеры в течение года.

В своем сообщении в X Виталик объясняет, что ИИ может мобилизовать знания по почти любой теме, но при этом не проявляет глубокого суждения. Он рискует остановиться на самых поверхностных аспектах текста, не понимая полностью масштаба его аргументации.

Это замечание возникает в контексте обсуждения качества взаимодействия с чат-ботами. Некоторые считают их лучшими собеседниками, чем большинство людей, для обсуждения классических произведений. Напротив, одна писательница считает, что их комментарии к ее эссе часто сводятся к пустым ответам.

Первое чтение

Для Виталика Бутерина это ограничение особенно проявляется, когда модель впервые сталкивается с текстом. Действительно, известное произведение имеет десятилетия критики, анализа и комментариев, которые ИИ может найти в своих обучающих данных. Недавнее эссе, с другой стороны, не имеет такой истории.

Модель должна полагаться больше на сам текст, не имея возможности использовать столько предшествующих анализов. Это различие особенно важно в криптоиндустрии, где команды используют ИИ-агентов для анализа белых книг, аудитов или предложений по управлению.

Однако некоторые разработчики уже предупреждают о недостатках, которые ИИ может использовать, не понимая полностью их последствий. В этих условиях резюме, созданные моделью, не должны заменять человеческую проверку, особенно когда речь идет о важных технических или финансовых вопросах.

Мудрость — качество, которое трудно измерить

Виталик Бутерин поднимает еще одну более тонкую проблему: знания модели можно довольно легко проверить, в отличие от ее мудрости. Можно проверить дату, ссылку или цифру. Однако оценка уместности рассуждения требует большего, чем простая фактическая проверка.

Эпизод из июля иллюстрирует это различие. Конкурс, организованный вокруг определения автора анонимного документа Ethereum, наградил 6 июля команду Франклина Ванга из Co-Invest. После анализа 27 текстов команда получила результат, связанный с вероятностью около 20%.

Этот опыт напоминает, что искусственный интеллект может распознавать стилистические характеристики, не обязательно понимая идеи, скрывающиеся за текстом. Та же осторожность необходима, когда он анализирует код или технические документы: идентификация шаблонов не всегда означает понимание намерений их автора.