Итак, добыл данные с Сундука.
Как уже говорил, они закрыли голосовалку, и результаты доступны только тем, кто принимал участие в голосовании. Попросил Михаила @E320 прислать мне скриншоты с результатами. Привожу их здесь, Михаил может нотариально заверить
:
Было три тестовых трека, участники выбирали один из семи кабельных сетапов.
Результаты голосования не анонимные, у каждого голоса есть вполне конкретный автор.
В принципе я согласен с тем, что Сундук это заинтересованный участник, и от них можно ожидать сюрпризов, но пока не вижу явных способов “взломать” голосование. Вариант подкупа участников выглядит неправдоподобным, об этом быстро стало бы известно. Вариант “голосовали свои люди” в принципе возможен, чтобы выяснить, имел ли он место быть, надо проанализировать. кто голосовал, и есть ли подозрения на аффилированность аккаунта с Сундуком. Я не могу это сделать, т.к. во-первых у меня нет доступа к результатам, во вторых я плохо знаком с экосистемой Сундука. Но думаю, если бы такое “голосование своих” имело место, это заметили бы участники - там было долгое и подробное обсуждение результатов сообществом, и участвовашие в нём люди вроде бы не идиоты. Кстати, аудитории Сундука и Бара заметно пересекаются, скорее всего кроме Михаила там были ещё люди, принимавшие участие, можно спросить у них, было ли там что-то подозрительное.
Пока в качестве рабочей гипотезы примем, что результаты голосования не сфальсифицированы.
Дальше возникает вопрос - распределение результатов не равномерное, но не могло ли такое распределение получиться просто случайным образом? Другими словами, наблюдаем ли мы статистически значимое отличие друг от друга хотя бы для пары кабелей?
Для ответа на этот вопрос не будем изобретать велосипед и используем стандартный для таких ситуаций (обработка результатов голосования) тест, называемый Q-критерий Кохрена. Как работают такие тесты: принимаются две гипотезы, нулевая (в данном случае нулевая гипотеза - все кабели одинаковы), и альтернативная (кабели отличаются). Тест выдаёт метрику, которая называется p-value, и примерно соответствует вероятности того, что нулевая гипотеза верна. В научном сообществе принято считать результат, соответствующий альтернативной гипотезе, достоверным, если p-value < 0.05.
Я провёл расчёт для данных c Сундука, полная версия расчёта выгружена в Google Colab. Какие получились p-values:
- Test #0, p-value: 0.00000057
- Test #1, p-value: 0.00000002
- Test #2, p-value: 0.00000230
Как видно, все значения сильно меньше чем 0.05, и нулевая гипотеза (все кабели одинаковы) должна быть отвергнута в пользу альтернативной (есть статистически значимое различие).
Как то так.