Есть ли недостатки у двойного слепого тестирования аудио-компонентов? Почему быстрые перетыкания — это путь в никуда.

СТЕРЕО-мир
41

Тест банально неверно построен статистически. Он дает ответ не на вопрос “слышит ли вообще человек разницу”, а на вопрос “не угадана ли разница случайно”. Это две совершенно разные вещи!

Дальше будут цифры, кто не любит теорвер, не читайте :nerd_face:

Угадывание компонента - довольно сложная для человека задача, т.к. разница в звуке часто бывает в нюансах. Никто, думаю, не способен всегда угадывать с вероятностью 100%, даже золотые уши. Более реалистично, скажем, 90%. Но в тесте надо верно угадать не меньше девяти раз. Вероятность девять раз не ошибиться, при точности угадывания 90% будет 0.9^9 = 39%. То есть даже хороший слухач способен пройти этот тест менее чем в половине случаев. Если процент угадывания меньше, например 80%, то 0.8^9=13% - вообще мало шансов пройти тест.

На самом деле непонятно, зачем нужно 9 из 10. Существует 2^9 = 512 способов скомбинировать А и B в 9 прослушиваниях. То есть вероятность случайно угадать все девять раз - 1/512, или 0.2%. Это намного меньше тех 5%, о которых говорится в описании теста. Чтобы достичь вероятности 5%, достаточно правильно ответить всего в 5 угадайках (2^5=32, 1/32 это примерно 3%).

Но и 5 правильных ответов из 5 это слишком много, если мы хотим ответить на вопрос, который нас на самом деле интересует - способен ли человек услышать разницу между компонентами?
Для этого достаточно, чтобы правильных ответов было немногом более 50%, правда, экспериментов придётся проводить больше. Если интересно, можно посчитать точно, сколько экспериментов надо, например, при 60% попаданий.

То есть изначально неправильно поставленная задача и неверная интерпретация теста приводит к глупому результату, очевидно, противоречащему здравому смыслу - “никто не слышит разницу”. Ну да, наверное все люди здесь в баре занимаются ерундой и рассказывают друг другу о своих иллюзиях. :man_facepalming:

11 лайков
42

Так а все темы про слепые тестирования в аудио изначально замешаны на неадеквате. В основе лежит странная идея, что мы обязаны что-то доказать объективистам. Большинство сторонников слепых тестов почему-то хотят их не для себя, а для того, чтобы навязывать другому. При этом аргументы часто начинаются и заканчиваются вольным пересказом старого баяна про межблоки и вешалку.

Я осознанно слушаю музыку - осознанно выбираю компоненты. Всё логично.

2 лайка
43

Ой, До! И какую логику Вы преследуете. При этом высказывая совершенно определенно ;“слепые тестирования в аудио изначально замешаны на неадеквате”
Логика может быть одна либо компонент реально лучше звучит или компонент просто прекрасен внешне. В первом случае Вы получаете слуховое удовлетворение во втором эстетическое. И если с эстетикой более или менее понятно, то со слухом?! И вовсе не важно как Вы проведете тест, который замечу направлен в первую очередь для Вас самих, важен будет результат. Слышите или нет, пусть разница будет в нюансах или еще в чем!
Я с уверенностью заявляю, что не один человек, повторяюсь не один не прошел тест.

2 лайка
44

Теперь все железки тебе возить буду :joy:

45

Ты злой! :slight_smile: Так ребенок еще в железках начнет разбираться, и пиши пропало :slight_smile:

1 лайк
46

Потому что это и есть часть ДСТ

А вот дальше вы верно описали обычное тестирование к которому надо стремиться. Дело не в том знаете ли вы какая коробочка играет, а в том как вы к этой коробочке относитесь.

2 лайка
47

Аналогично. Результат неизменно полезный.

48

Целью данного теста является попытка доказать,что два компонента с одинаковыми техническими параметрами звучат одинаково.Возьмем два усилителя и измерим их параметры.Каким образом?Старым как мир способом-синус и меандр на вход,приборы в руки и вперед.Результаты одинаковы,значит параметры у них одинаковые,что подтвердили приборы.А вот дальше идет грубейшее искажение условий тестирования и подмена исходных данных,так как вместо тестовых сигналов на вход подается МУЗЫКА.Заставьте испытуемых слушать синус и меандр-и никто не услышит разницы,да и технически ее быть не должно.Происходит подмена понятий,из серии ветер дует потому,что деревья качаются.

49

Тезис
Когда аудиофилу делать нечего, он слепые тестирования устраивает!

6 лайков
50

Зато если выяснится что ЦАП за $200 неотличим от ЦАПа за $10000, то это ж какая экономия выходит! Заодно можно будет писать на форумах о том как хай-енд индустрия обманывает ничего не подозревающих аудиофилов. А выбор ЦАПа упростится одной табличкой с измерениями: синий и зеленый цвет - звучат одинаково хорошо, красный - отстой:

Best%20Audio%20DACs%20Reviewed%202019
Best Audio DACs Reviewed 2019.png726×2556 54.5 KB

2 лайка
51

А разве это не так? Я сейчас не про звук. В про Хай-Энд в широком смысле.

4 лайка
52

Верное замечание, о котором многие объективисты во время споров с аудиофилами сами часто забывают. Если двойной слепой тест с участием 100 человек, показал, что между компонентами есть разница, значит с большой вероятностью она действительно есть и слышна. А если не показал – то вывода о том, что ее там нет, сделать нельзя, не нарушая базовых принципов статистики. Невозможно научно доказать отсутствие чего-либо. Это еще один недостаток ДСТ.

1 лайк
53

Не знаю, смотря что считать хай-ендом и в чем обман. Надо рассматривать конкретные случаи. Например, на ASR недавно замерили ЦАП от PS Audio за $6000 и объявили, что он звучит хуже ЦАПов за $250. С их точки зрения это кошмарный развод потребителя вкупе с некомпетентностью.

1 лайк
54

Прием называется соломенное чучело: идею оппонента доводят до абсурда, а потом с ней успешно борются. Методы описаны так, чтобы было удобно спорить. Метод может быть любым. Если вы слышите разницу в комфортных условиях и длительной прослушке - то это может быть методом, только надо придумать как сделать тест слепым и корректным, вот и все.

“Невозможно доказать отсутствие” - так доказывать надо присутствие. Если в серии корректных тестов не выявляется присутствие, то конечно нельзя сделать вывод об отсутствии, но подозревать уже можно. И появляются как минимум вопросы к маркетингу, и к результатам очных тестов, которые заявляли присутствие и т.д.

Все это очень очевидно, но просто слон в комнате настолько не комфортен, что появляется желание выставлять дураками тех, кто говорит “вот слон”, а не пытаться разобраться со слоном.

7 лайков
55

Легко сказать - придумать. Точнее придумать то легко, но вот исполнить проблематично. Такой тест займет месяц – два, если проводить 10 экспериментов. Добровольцев, думаю, не найдется.

2 лайка
56

На мой взгляд ситуация выглядит следующим образом.

На оценку качества звучания аппаратуры оказывают влияние три фактора:

  1. Само по себе качество звука и соответствие его субъективным критериям. Кто-то любит прозрачность, кто-то - плотность, кому-то милы тонкие материи,кому-то - жир, ну и так далее.
  2. Вид и тип аппаратуры. Черный параллелепипед транзисторного усилителя сильно отличается от роскоши мерцания ламп триодного однотактника. И опять же, кто-то сторонник минимализма в дизайне, а кому-то подавай красное дерево и виньетки. Ну и прошлый опыт тоже не отменишь. Если человек знает, что лампа это круто, то он и предпочтёт лампу.
  3. Стоимость и статусность аппаратуры. Сказать, что Ongaku звучит хуже чем Leben, не каждый решится.

Двойной слепой тест позволяет исключить два последних фактора, не имеющих отношения к звуку и впечатлениям от него. И это, как я думаю, классно. Так что метод отличный для тех, кто хочет услышать и оценить услышанное, а не отстоять своё мнение. Приём истинных самураев духа )))

11 лайков
57

Ещё что то мне подсказывает, что в описываемых тестах, для пущей псевдонаучности, участвовали случайные люди с улицы. Ну а неподготовленный человек конечно не услышит разницу. Так же, как он не услышит разницу между двумя исполнениями одной симфонии - но это совсем не означает, что этой разницы не существует и все исполнители занимаются профанацией.

Практика публичных слепых тестов на том же Сундуке показывает, что подготовленные люди вполне себе слышат разницу, даже в кабелях. Но конечно не со 100% попаданием и даже не 9 из 10.
Поэтому слепые тесты, на мой взгляд, вещь полезная - чтобы добавить хоть немного объективности и не скатываться в абсолютную эзотерику. Но условия эксперимента и статобработка результатов должны быть корректными.

5 лайков
58

Это если научную работу писать или на AES потом выступать. А так - постоянно проводятся тесты дома разного оборудования, на основе которых делаются выборы, часто дорогие выборы. Можно хотя бы часть этих тестов попробовать сделать каким-то способом хотя бы примерно слепыми. Примеры указаны выше, типа показать кому-то из домочадцев (хотя там часто не выравнивается громкость), или их же попросить что-то подключить чтобы вы не знали и т.д. Не очень корректно, но хоть что-то.

59

Я не против слепых тестов, я против быстрых тестов.

На основе быстрых тестов я, вначале аудио пути, сделал много ошибочных выводов, поэтому больше не использую.

Нужно взять один компонент, поставить и внимательно слушать. Замечать нюансы, характер подачи, что нравится, что раздражает, какие ощущения возникают, записываем в память не сам звук, а ощущения от него.

Далее ставим второй компонент, ставим трек с начала и оцениваем все то же самое. И тут разница как на ладони по разнице в подаче, когда при беглых переключениях все вроде одинаково играет и кажется, что разницы то и нет.

Далее перепроверяем себя на других композициях, возможно где найденные отличия более ярко можно определить. Если все подтверждается, то на сегодня выводы сделаны. Но надо обязательно повторить на следующий день и удостоверится, что не повлияло самочувствие, чистота сети или другие факторы. После чего и можно сделать окончательные выводы.

А за 5 секунд на переключениях можно отличить изделия из совершенно разных категорий, где разница настолько явная, что даже и слепой тест не нужен :wink:

13 лайков
60

добавим к этому ещё психоэмоциональное состояние слушателя, состояние электросети, влажность воздуха и хз какие ещё физические факторы, а самое главное - ненадежность человеческой памяти в отношении звучания. А также психологию “все слышат, а я что?”, “несколько человек на форуме написали, что этот кабель с выдающимся воздухом, кажется я это слышу”, “сразу заметна синергия бренда” итд итп

2 лайка