Есть ли недостатки у двойного слепого тестирования аудио-компонентов? Почему быстрые перетыкания — это путь в никуда.

Причем как среди объективистов, так и среди субъективистов )

5 лайков

Ну, разумеется .

Прошу простить мне мою дилетантскую точку зрения,но для измерения технических параметров существуют приборы и методики их измерения,а человеческое ухо-оно не прибор,а орган чувств,да еще и с мозгом связанное,приборов для измерения чувств и методик пока не изобрели,так что тест изначально и нацелен на достижение определенных,а не истинных результатов,предвзят,содержит предпосылку к запрограммированному результату

А зачем поддерживать столкновение двух сект? Тема интересна в первую очередь для себя, вон и прикладной эффект выше описан: не слышно - не плати, или плати за что-то еще (красота например). А махачь не интересен.

6 лайков

Ай, как Вы правы!!!

1 лайк

Прогнал ваш тест, получил 10 из 10 с первого раза. Причем с выравниванием громкости. Без выравнивания там просто 1 дБ разницы и она еще слышнее. Так или иначе, полезность данного теста довольно сомнительна, в первую очередь, из-за того, что микрофон вкупе с комнатой чудовищно искажают сигнал и от оригинала мало что остается. Там может просто рекордер на 3 мм сдвинулся и вся разница произошла по этой причине.

Во-вторых, я бы проверил точность и стабильность подобных записей в вашей системе. Попробуйте тупо микрофоном 10 раз замерить АЧХ без каких либо изменений вообще, просто свайп прогоните. Я вот проводил у себя такой эксперимент - REW нарисовал разброс между тестами в 2 дБ начиная от 5кГц и выше. Почему так происходит - для меня загадка, ясно только, что с такой “точностью” выискивать мелкие отличия на записях моей системы точно не получится, а жаль.

foo_abx 2.0.6c report
foobar2000 v1.4.8
2019-11-05 01:28:50

File A: Mr. Bones - var1.wav
SHA1: 37518ad05b2944b3a91e4e1e7ff68c3fa902ed37
Gain adjustment: -0.67 dB
File B: Mr. Bones - var2.wav
SHA1: 4bd8e091ba75c4b1af6a32b5e124236a1e8db49a
Gain adjustment: +0.26 dB

Output:
DS : Primary Sound Driver
Crossfading: NO

01:28:50 : Test started.
01:29:36 : 01/01
01:30:57 : 02/02
01:31:25 : 03/03
01:32:12 : 04/04
01:32:44 : 05/05
01:33:11 : 06/06
01:33:26 : 07/07
01:34:11 : 08/08
01:34:23 : 09/09
01:34:47 : 10/10
01:34:47 : Test finished.

 ---------- 
Total: 10/10
p-value: 0.001 (0.1%)

 -- signature -- 
93aba44bd660f6c69f9002a0c9725c6cee7f2421
1 лайк

Не должно быть такого. 10 раз подряд я не делал, но если несколько подряд случается - идентично, иногда не понятно появилась ли новая АЧХа.

1 лайк

2-3 раза и у меня получалось идентично, а вот если сделать 10-20 раз, то выходит тихий ужас. Не знаю откуда все это лезет, может меняются свойства воздуха в комнате, может шумы какие то извне проникают, или плавают параметры лампового усилителя.

Надо быть последовательным в рассуждениях. Человек проводящий оценку не прибор, а очень сложный организм зависящий от многих факторов.

Итогом такого теста является упрощённая статистическая оценка.

Оценить таким образом грубые изменения безусловно возможно. С тонкими изменениями на мой взгляд такой тест не справится.

На каком звуке сконцентрировалось внимание ? Почему именно на нём ? Насколько в принципе применима объективность к оценке иллюзии ?

Да может они по своему и правы, но мне надо выловить не сам факт разницы, а имено общие изменения в звуке. На это нужно время.
Я уже не раз нарывался на то что первоначально слышна глобальная разница, вау, восторг… а потом начинают вылезать косячки. Ну или не начинают. Или наоборот, разницы нет, а потом прорывает.
Поэтому уже составил себе некие внуренние правила. Но сильно индивидуально это, капризно и ни разу не объективно.
Поэтому для себя и решил. Слепые тесты, в ад.

2 лайка

Все верно вы пишите, но…

В зрячую оценки обычно очень однозначные и конкретные, все по полочкам раскладывается и расписывается. Но как вслепую - то “на каком звуке сконцентрировать, и почему именно на нем?”.

Вас не смущает именно эта разница? Почему пока видим - то человек как сложный организм все четко раскладывает, но как не видим - то сразу много условий надо? Это не отрицалово разницы, но вопрос про ее масштаб и значение.

6 лайков

Когда видим, то тоже много условий надо. Обязательно. Полагаю, если поискать даже тут на сайте сравнения близких по характеристикам предметов, сделанные опытными людьми, то они не пишут о такой уж разительной разнице и всё по полочкам.

В зрячей оценке мы чаще описываем эмоции, которые родились у нас во время прослушивания.
В слепом тесте, мы пытаемся сравнить эмоции тогда с эмоциями сейчас - это намного сложнее.

Заметив какую-то разницу, перед нами встаёт задача её артикуляции, создания её формального описания. А музыка продолжает играть. Возможно ли в принципе удержать это в памяти? Поэтому чаще мы усредняем до эмоции.

Я там предполагаю.

2 лайка

Зачем сравнивать? Можно тоже описать эмоции от разных прослушиваний. И уже потом их сравнить, не пытаясь анализировать на лету.

У меня очень часто проходят слепые тесты дома: дочка в технике конченый гуманитарий, ей до коробочек фиолетово. А со слухом все хорошо, закончила муз. школу по классу вокала, продолжает петь в свободное от учебы время. Я ее регулярно сажаю и прошу послушать разницу, недавно так фонокорректоры сравнивал. Для нее это слепой тест, она не знает, какая коробочка должна играть лучше, она даже не в курсе, для чего эта коробочка вообще. Но она слушает и комментирует. Иногда говорит, что разницы не слышит, иногда слышит отчетливо и может описать. Не всегда это совпадает с моим знанием, так что ее участие для меня прибавляет ценности в сравнении.

18 лайков

Слепое тестирование это интересное времяпрепровождение в компании не более :slight_smile: @Chthon правильно написал, детали можно выслушать, систему в целом нет, только вдумчивое прослушивание одной системы неделю/месяц и более, только там можно понять.
Но спорить об этом бесполезно, специалисты с осциллографом не согласятся, так же как и в цифре нули и единицы они везде одинаковые :sunglasses:

2 лайка

Тест банально неверно построен статистически. Он дает ответ не на вопрос “слышит ли вообще человек разницу”, а на вопрос “не угадана ли разница случайно”. Это две совершенно разные вещи!

Дальше будут цифры, кто не любит теорвер, не читайте :nerd_face:

Угадывание компонента - довольно сложная для человека задача, т.к. разница в звуке часто бывает в нюансах. Никто, думаю, не способен всегда угадывать с вероятностью 100%, даже золотые уши. Более реалистично, скажем, 90%. Но в тесте надо верно угадать не меньше девяти раз. Вероятность девять раз не ошибиться, при точности угадывания 90% будет 0.9^9 = 39%. То есть даже хороший слухач способен пройти этот тест менее чем в половине случаев. Если процент угадывания меньше, например 80%, то 0.8^9=13% - вообще мало шансов пройти тест.

На самом деле непонятно, зачем нужно 9 из 10. Существует 2^9 = 512 способов скомбинировать А и B в 9 прослушиваниях. То есть вероятность случайно угадать все девять раз - 1/512, или 0.2%. Это намного меньше тех 5%, о которых говорится в описании теста. Чтобы достичь вероятности 5%, достаточно правильно ответить всего в 5 угадайках (2^5=32, 1/32 это примерно 3%).

Но и 5 правильных ответов из 5 это слишком много, если мы хотим ответить на вопрос, который нас на самом деле интересует - способен ли человек услышать разницу между компонентами?
Для этого достаточно, чтобы правильных ответов было немногом более 50%, правда, экспериментов придётся проводить больше. Если интересно, можно посчитать точно, сколько экспериментов надо, например, при 60% попаданий.

То есть изначально неправильно поставленная задача и неверная интерпретация теста приводит к глупому результату, очевидно, противоречащему здравому смыслу - “никто не слышит разницу”. Ну да, наверное все люди здесь в баре занимаются ерундой и рассказывают друг другу о своих иллюзиях. :man_facepalming:

11 лайков

Так а все темы про слепые тестирования в аудио изначально замешаны на неадеквате. В основе лежит странная идея, что мы обязаны что-то доказать объективистам. Большинство сторонников слепых тестов почему-то хотят их не для себя, а для того, чтобы навязывать другому. При этом аргументы часто начинаются и заканчиваются вольным пересказом старого баяна про межблоки и вешалку.

Я осознанно слушаю музыку - осознанно выбираю компоненты. Всё логично.

2 лайка

Ой, До! И какую логику Вы преследуете. При этом высказывая совершенно определенно ;“слепые тестирования в аудио изначально замешаны на неадеквате”
Логика может быть одна либо компонент реально лучше звучит или компонент просто прекрасен внешне. В первом случае Вы получаете слуховое удовлетворение во втором эстетическое. И если с эстетикой более или менее понятно, то со слухом?! И вовсе не важно как Вы проведете тест, который замечу направлен в первую очередь для Вас самих, важен будет результат. Слышите или нет, пусть разница будет в нюансах или еще в чем!
Я с уверенностью заявляю, что не один человек, повторяюсь не один не прошел тест.

2 лайка

Теперь все железки тебе возить буду :joy:

Ты злой! :slight_smile: Так ребенок еще в железках начнет разбираться, и пиши пропало :slight_smile:

1 лайк

Потому что это и есть часть ДСТ

А вот дальше вы верно описали обычное тестирование к которому надо стремиться. Дело не в том знаете ли вы какая коробочка играет, а в том как вы к этой коробочке относитесь.

2 лайка