Наскільки точними є ринки прогнозів? Що насправді кажуть дослідження

Основне твердження ринків прогнозів просте й сміливе. Коли тисячі людей вкладають реальні гроші у свої переконання щодо майбутніх подій, отримані ціни є кращими оцінками ймовірності, ніж будь-який окремий експерт, опитування чи модель. Це твердження було ретельно перевірено в політиці, спорті, фінансах і культурі, і докази є більш нюансованими, ніж зазвичай визнають як ентузіасти, так і скептики.

Polymarket заявляє, що їхні ринки є точними у понад 94% випадків за цілий місяць до того, як результат стає остаточно відомим. Ця цифра вражає, але розуміння того, що саме вона вимірює і що залишає поза увагою, є важливим перед тим, як приймати це як доказ того, що ринки прогнозів вирішили проблему прогнозування.

Що насправді означає точність ринку прогнозів

Перш ніж оцінювати дослідження, необхідно встановити, що означає точність у контексті ринків прогнозів, оскільки цей термін використовується способами, які можуть ввести в оману.

Ринок прогнозів не передбачає результати. Він оцінює ймовірності. Ринок, який присвоює 70% ймовірності результату, не прогнозує, що цей результат відбудеться. Він каже, що колективне судження трейдерів, які ставлять на кін реальні гроші, вважає, що існує 70% шанс того, що це станеться. Ця відмінність має величезне значення для оцінки точності.

Стандартним методом оцінки точності ринку прогнозів є калібрування. Ринок прогнозів добре відкалібрований, якщо в усіх випадках, коли він присвоює 70% ймовірності результату, цей результат насправді відбувається приблизно у 70% випадків. Якщо кожна подія, якій Polymarket дає 70% шансів, відбувається рівно у 70% випадків, ринок ідеально відкалібрований. Це не означає, що кожен окремий прогноз є правильним. Це означає, що ймовірності точно відображають фактичні частоти.

Дослідження послідовно показують, що ринки прогнозів добре відкалібровані на великих вибірках. Це значущий і важливий висновок. Це означає, що ціни, які ви бачите на Polymarket, у сукупності є чесним відображенням ймовірності, а не систематично зміщеними оцінками. Але хороше калібрування на великих вибірках не означає, що будь-який конкретний прогноз є надійним, особливо для подій з низькою ймовірністю, де невеликі помилки калібрування мають великі практичні наслідки.

Тест виборів 2024 року, який змінив дискусію

Подією, яка вивела точність ринків прогнозів у мейнстрімну дискусію, стали президентські вибори в США 2024 року, і її варто ретельно вивчити, оскільки це найбільш цитований доказ з обох сторін дебатів.

За тижні до виборів передбачувана ймовірність перемоги майбутнього переможця на Polymarket перевищувала 60%, тоді як більшість моделей прогнозування на основі опитувань показували майже рівні шанси. Модель Нейта Сільвера та кілька відомих агрегаторів давали ймовірності в діапазоні від 40 до 50% для обох кандидатів, по суті кажучи, що перегони були надто близькими, щоб робити висновки. Polymarket говорив щось більш визначене.

Результат виборів збігся з імовірністю Polymarket ближче, ніж з моделями, що показували рівні шанси, і висвітлення в ЗМІ, що послідувало за цим, було масштабним. Ринкам прогнозів приписали здатність до прогнозування, що перевершує традиційні агрегати опитувань, і вибори 2024 року стали центральним кейсом в аргументах на користь точності ринків прогнозів.

Більш обережна інтерпретація дещо інша. Те, що Polymarket був впевненішим за агрегати опитувань і виявився правим у цьому випадку, узгоджується з кількома поясненнями. Найбільш сприятливе пояснення полягає в тому, що ринки прогнозів агрегували інформацію, що виходила за межі того, що фіксували опитування, включаючи моделі дострокового голосування, індикатори ентузіазму та специфічну для трейдерів інформацію, яку методи опитування пропускають. Менш сприятливе пояснення полягає в тому, що ринки прогнозів увібрали ту саму базову інформацію, що й опитування, але оцінили її інакше через склад бази трейдерів, яка була зміщена в бік певних демографічних груп та політичних уподобань. Один правильний прогноз, яким би гучним він не був, не встановлює систематичну перевагу.

Що показують академічні дослідження

Академічна література про точність ринків прогнозів є більш обширною, ніж більшість людей усвідомлює, і вона передує Polymarket на десятиліття. Iowa Electronic Markets, створені в 1988 році для торгівлі контрактами на результати виборів, отримали перші систематичні докази того, чи перевершують ринки прогнозів інші методи прогнозування.

Докази з IEM та подальших досліджень показують, що ринки прогнозів послідовно перевершують прості середні показники опитувань для прогнозування виборів. Мета-аналіз досліджень багатьох виборів виявив, що ринки прогнозів були точнішими за середні показники опитувань у більшості розглянутих випадків. Маржа переваги не була драматичною, але вона була послідовною для різних виборів, різних країн і різних часових горизонтів.

Дослідження ринків прогнозів у корпоративному та фінансовому контекстах показують подібну картину. Дослідження внутрішніх ринків прогнозів, що проводяться компаніями, включаючи Google та HP, виявили, що ринки прогнозів співробітників послідовно давали точніші прогнози бізнес-результатів, ніж традиційні методи прогнозування. Причина, запропонована дослідниками, однакова в обох контекстах: ринки прогнозів агрегують розсіяну приватну інформацію, до якої не має доступу жоден центральний прогнозист, а ціновий механізм створює стимули для чесного розкриття цієї інформації.

Спортивні ринки прогнозів мають найбільш обширні дані про точність, оскільки спортивні результати є частими, чітко визначеними та їх легко порівняти з ринковими цінами. Дослідження показують, що ціни на ринках ставок надзвичайно добре оцінюють ймовірності виграшу у великих видах спорту, послідовно перевершуючи статистичні моделі та прогнози експертів при оцінці на великих вибірках. Ефективність ринків спортивних ставок настільки добре встановлена, що вона використовується як еталон в академічних фінансових дослідженнях.

Коли ринки прогнозів помиляються

Дослідження точності ринків прогнозів також визначають систематичні умови, за яких вони працюють погано, і вони важливі для будь-кого, хто покладається на ціни ринків прогнозів при прийнятті важливих рішень.

Низька ліквідність є найважливішою проблемою точності. Ринок прогнозів з обмеженим обсягом торгів має ціни, що відображають думки невеликої кількості трейдерів, а не колективну мудрість великого натовпу. Ефект мудрості натовпу, який робить ринки прогнозів точними, залежить від наявності достатньої кількості трейдерів з різноманітною інформацією та перспективами, щоб індивідуальні упередження нівелювалися. Коли на ринку є лише жменька активних трейдерів, індивідуальні упередження домінують, і ціна стає ненадійною як оцінка ймовірності.

Багато менших ринків Polymarket мають низьку ліквідність, іноді з обсягом торгів лише в кілька тисяч доларів. До цих цін слід ставитися з великим скептицизмом порівняно з цінами на великих ринках, таких як Чемпіонат світу або вибори в США, які залучають мільйони доларів обсягу та тисячі активних трейдерів.

Ризик маніпуляцій є другою проблемою точності. Ринки прогнозів з низькою ліквідністю вразливі до маніпуляцій цінами з боку гравців, які хочуть створити оманливе враження про оцінки ймовірності громадськості. Трейдер, який витрачає невелику суму, щоб змінити ціну з 30% до 60% на ринку з низькою ліквідністю, може створити висвітлення в ЗМІ, що свідчить про те, що ринок різко оновив свій погляд, хоча насправді одна велика угода змінила ціну, яка не була підкріплена достатньою ліквідністю, щоб бути надійною.

Під час виборів 2024 року спостерігалися задокументовані випадки, коли великі угоди на Polymarket суттєво змінювали ринкові ціни, що викликало висвітлення в ЗМІ щодо зміни шансів, які могли не відображати справжню інформацію. Це саме явище впливає на фінансові та політичні ринки, де низька ліквідність дозволяє окремим гравцям впливати на ціни, які журналісти та трейдери потім сприймають як сигнали колективної мудрості.

Нові події є третьою проблемою точності. Ринки прогнозів отримують свою точність від агрегування розсіяних знань трейдерів, які мають відповідну інформацію та досвід. Коли подія є справді новою і не має історичних прецедентів, трейдерам бракує бази досвіду, щоб оцінити її точно, і отримані ціни відображають колективну невизначеність, а не колективні знання. Пандемія COVID-19 стала гучним прикладом, коли ринки прогнозів повільно оновлювалися і часто були неточними щодо ключових питань, оскільки подія не мала історичних паралелей, на які могли б спиратися трейдери.

Конкретні цифри точності та що вони означають

Твердження Polymarket про точність понад 94% потребує конкретного вивчення, оскільки це найбільш цитована цифра і та, яку найлегше зрозуміти неправильно.

Цифра 94% стосується калібрування в усьому діапазоні ринкових цін за місяць до вирішення. Це означає, що коли Polymarket присвоює будь-яку ймовірність будь-якому результату, реалізована частота цього результату на великих вибірках знаходиться в межах кількох відсоткових пунктів від присвоєної ймовірності. Це справді вражаюче і значно краще, ніж у більшості окремих прогнозистів чи моделей.

Це не означає, що будь-який конкретний ринок Polymarket з 94% ймовірністю буде правильним. Ринок, оцінений у 60% для одного результату, за визначенням прогнозує 40% шанс того, що станеться протилежне. Обидва результати прогнозуються з невизначеністю, і твердження про 94% точність стосується калібрування всього розподілу ймовірностей, а не спрямованої точності будь-якого окремого прогнозу.

Академічна література ставить точність ринку прогнозів у більш нюансовані рамки. У багатьох дослідженнях ринки прогнозів перевершують опитування з маржею від кількох відсоткових пунктів до значно більших значень залежно від конкретного контексту. Вони є найточнішими для ринків з високою ліквідністю щодо подій з чіткими критеріями вирішення та відповідними історичними прецедентами. Вони найменш точні для ринків з низькою ліквідністю щодо справді нових подій.

Як ринки прогнозів порівнюються з конкретними альтернативами

Питання точності є найбільш корисним, коли ринки прогнозів порівнюються з конкретними альтернативами, а не оцінюються ізольовано.

Порівняно з середніми показниками опитувань на виборах, ринки прогнозів послідовно перевершують їх, особливо на довших часових горизонтах до виборів. Перевага агрегування інформації, яку ринки прогнозів мають над опитуваннями, найбільш помітна при погляді на ціни за місяці до виборів, а не за дні, коли опитування вже значною мірою наздогнали ситуацію.

Порівняно з експертними панелями та суперпрогнозистами, порівняння є більш неоднозначним. Дослідження Філіпа Тетлока та співавторів виявили, що навчені суперпрогнозисти, особи, відібрані та навчені спеціально для точності прогнозування, працюють порівнянно з ринками прогнозів, а іноді й краще. Це означає, що ефект мудрості натовпу на ринках прогнозів може бути зрівняний або перевершений меншою групою висококваліфікованих і систематично навчених прогнозистів. Цей висновок не підриває ринки прогнозів, але свідчить про те, що механізм мудрості натовпу не є унікально кращим за всі альтернативи.

Порівняно з окремими експертами, ринки прогнозів послідовно перемагають. Поєднання різноманітних перспектив, стимулів реальними грошима та постійного оновлення дає ринкам прогнозів структурні переваги над будь-яким окремим аналітиком чи експертом, який має фіксовані витрати на оновлення свого погляду та обмежений доступ до розсіяної інформації.

Порівняно з моделями штучного інтелекту, порівняння тільки з'являється і є справді невизначеним. Великі мовні моделі, навчені на історичних даних, можуть створювати відкалібровані оцінки ймовірності в багатьох доменах, але їм бракує оновлення інформації в реальному часі, що робить ринки прогнозів цінними. Поєднання базових показників, згенерованих ШІ, з цінами ринків прогнозів, які оновлюються на основі останніх новин, є сферою активних досліджень і, ймовірно, стане місцем, де з'являться найточніші методи прогнозування.

Для інвесторів, що відстежують акції, WEEX надає доступ до продуктів для торгівлі акціями, включаючи кампанію First Stock Trade Protected, яка пропонує відповідним користувачам додатковий захист їхньої першої угоди з акціями.

Що це означає для того, як використовувати ринки прогнозів

Дослідження точності ринків прогнозів мають практичні наслідки для того, як використовувати ці платформи, а не просто чи варто їм довіряти.

Ринки з високою ліквідністю щодо чітко визначених подій з історичними прецедентами — це те, де ціни ринків прогнозів є найбільш надійними як оцінки ймовірності. Переможець Чемпіонату світу, наступне рішення ФРС щодо ставок, результати великих виборів у встановлених демократіях та результати прибутків компаній, за якими широко стежать, — це категорії, де ціни ринків прогнозів несуть значущу інформацію.

До ринків з низькою ліквідністю щодо нових подій слід ставитися з великим скептицизмом. Ціна Polymarket у 15% на маловідому геополітичну подію з обмеженим обсягом торгів є набагато менш надійною, ніж 15% ймовірність на тій самій платформі щодо великих виборів з мільйонами обсягу.

Напрямок руху ціни часто є більш інформативним, ніж абсолютний рівень ціни. Коли ціна ринку прогнозів суттєво змінюється, це відображає нову інформацію, що надходить на ринок, навіть якщо абсолютний рівень ціни є невизначеним. Відстеження того, як ціни змінюються з часом, замість того, щоб ставитися до будь-якої окремої ціни як до остаточної оцінки ймовірності, використовує ринки прогнозів так, як підтримують дослідження їхньої точності.

Ціни ринків прогнозів повинні бути одним із кількох вхідних даних, а не остаточною відповіддю. Дослідження показують, що вони послідовно кращі за більшість індивідуальних методів прогнозування. Вони не показують, що вони безпомилкові або що вони повинні замінити інші джерела інформації.

Висновок

Дослідження точності ринків прогнозів розповідають історію, яка є більш нюансованою, ніж припускають або ентузіастичні заяви операторів платформ, або скептичні відмови традиційних прогнозистів.

Ринки прогнозів добре відкалібровані на великих вибірках, послідовно перевершують середні показники опитувань на виборах і агрегують розсіяну інформацію способами, які дають їм структурні переваги над окремими експертами. Це справжні та значущі висновки, підкріплені десятиліттями академічних досліджень та гучними реальними тестами, включаючи вибори в США 2024 року.

Вони також вразливі до низької ліквідності, маніпуляцій та нових подій, де трейдерам бракує історичного досвіду для надійної оцінки результатів. Цифра точності 94%, яку цитує Polymarket, є статистикою калібрування на всіх ринках, а не показником спрямованої точності для будь-якого конкретного прогнозу.

Найточніший спосіб підсумувати те, що насправді кажуть дослідження, полягає в тому, що ринки прогнозів є одними з найкращих доступних інструментів для оцінки ймовірностей подій з чіткими критеріями вирішення, значним обсягом торгів та історичними прецедентами. Вони не є оракулами. Вони є механізмами агрегування, які добре працюють, коли присутні умови, що підтримують агрегування, і менш добре, коли ці умови відсутні.

FAQ

1. Наскільки точними є ринки прогнозів?
Дослідження показують, що ринки прогнозів добре відкалібровані на великих вибірках, що означає, що їхні оцінки ймовірності відображають фактичні частоти результатів у межах кількох відсоткових пунктів. Polymarket заявляє про понад 94% точності в термінах калібрування. Академічні дослідження послідовно показують, що ринки прогнозів перевершують середні показники опитувань на виборах та експертні панелі в більшості контекстів бізнес-прогнозування.

2. Чи точно ринки прогнозів передбачили вибори в США 2024 року?
Передбачувана ймовірність Polymarket для майбутнього переможця перевищувала 60%, коли більшість агрегатів опитувань показували майже рівні шанси. Результат виборів збігся з імовірностями Polymarket ближче, що зробило це найбільш цитованим реальним тестом точності ринку прогнозів. Інтерпретація цього результату залишається предметом дискусій серед дослідників.

3. Коли ринки прогнозів найменш точні?
Ринки прогнозів працюють погано на ринках з низьким обсягом торгів, щодо справді нових подій без історичних прецедентів, і коли окремі великі угоди можуть маніпулювати цінами на ринках з низькою ліквідністю. Точність є найвищою на ринках з великим обсягом щодо чітко визначених подій з чіткими критеріями вирішення.

4. Чи є ринки прогнозів точнішими за опитування?
Дослідження послідовно показують, що ринки прогнозів перевершують прості середні показники опитувань для прогнозування виборів. Маржа переваги варіюється залежно від досліджень і контекстів, але вона була достатньо послідовною для багатьох виборів і країн, щоб вважатися надійним висновком в академічній літературі.

5. Як мені використовувати ціни ринків прогнозів?
Ставтеся до ринків з високою ліквідністю щодо чітко визначених подій як до значущих оцінок ймовірності, які агрегують реальну інформацію. Ставтеся до ринків з низькою ліквідністю щодо нових подій з великим скептицизмом. Зосередьтеся на тому, як ціни змінюються з часом, замість того, щоб ставитися до будь-якої окремої ціни як до остаточної. Використовуйте ціни ринків прогнозів як один із вхідних даних поряд з іншими джерелами інформації, а не як окремий оракул.

Disclaimer

Цей контент надається виключно для загальних інформаційних та освітніх цілей і не повинен розглядатися як фінансова, інвестиційна, юридична або податкова порада. Ніщо в цій статті не є пропозицією, рекомендацією, закликом або запрошенням купувати, продавати або торгувати будь-якими криптоактивами або використовувати будь-яку конкретну послугу. Криптоактиви є дуже волатильними і пов'язані з високим ступенем ризику. Ви можете втратити частину або всю вартість своїх інвестицій і не повинні інвестувати кошти, які ви не можете дозволити собі втратити. Послуги WEEX можуть бути доступні не в усіх регіонах і підпадають під дію чинних законів, нормативних актів та вимог до відповідності користувачів. Будь ласка, ретельно оцініть ризики та підтвердьте місцеві вимоги перед прийняттям будь-яких фінансових рішень.