Есть ли недостатки у двойного слепого тестирования аудио-компонентов?

Тут @dmitre подкинул горячую темку для обсуждения. Она настолько холиварна, что на некоторых аудиофильских форумах даже запрещена правилами. Посмотрим, выстоит ли наш Бар :slight_smile:

Для начала, вкратце, о предмете разговора: что мы будем здесь подразумевать под двойным слепым тестированием (ДСТ)?

Цель ДСТ: выявление слышимой человеческим ухом разницы в звучании двух аудио-компонентов (например, ЦАПов, усилителей или межблочных кабелей).

По науке ДСТ проводится следующим образом:

Два сравниваемых компонента A и B подсоединяются к аудио-системе таким образом, чтобы при воспроизведении музыки между ними можно было осуществлять мгновенное переключение.

С помощью приборов, компоненты выравниваются по уровню выходного сигнала, т.е. сравнение происходит на одинаковой громкости с точностью ± 0.2 Дб.

В простейшем случае в эксперименте участвуют два человека: один ставит музыку и переключает компоненты, а второй – слушает и фиксирует свои наблюдения. При этом ни слушатель, ни оператор не должны знать, какой именно компонент обозначен буквой A, а какой B – собственно, поэтому тест называется"двойным слепым".

Тестирование происходит по методологии ABX: один и тот же музыкальный фрагмент (обычно, длиной 5-10 секунд) сначала проигрывается на компоненте A, затем на компоненте B, а после этого – на случайным образом выбранном A или B (обозначаемом “X”). Подопытный слушает A, B и X, причем, по желанию, может попросить включить их более одного раза и записывает свой вердикт: “X это A” или “X это B”. Затем эксперимент повторяется.

Минимальное количество таких повторов – 10. При этом, если в 9 случаях из 10 ответ на вопрос “что есть X?” был дан верно, то делается вывод, что испытуемый действительно слышит разницу в звучании между A и B (c достоверностью 95%).

Переходим к главному вопросу темы. За последние полвека сторонники объективного подхода к оценке звучания аппаратуры провели множество таких тестов, сравнивающих различные ЦАПы, кабеля, усилители. Было вовлечено большое количество подопытных, включая “золотоухих” аудиофилов. Результаты тестов публиковались в научных журналах. По итогам экспериментов объективисты сделали вывод, что звучание одинаковых по техническим параметрам компонентов неотличимо для человеческого уха. Аудиофилы, которые до ДСТ утверждали, что слышат разницу между кабелями или ЦАПами, в условиях ДСТ перестали эту разницу слышать. Почему так происходит? Действительно ли разница в звучании существует только в воображении аудиофилов или же что то не то с самой процедурой ДСТ?

Голосуем и обсуждаем (опрос анонимный). Сам выскажу свои соображения позже.

Двойной слепой тест, проведенный строго с соблюдением всех правил – это:

  • Самый достоверный способ выявления реальной разницы в звучании компонентов
  • Бесполезная трата времени

0 голосов

Кстати, если кто хочет подвергнуть себя ДСТ и понять как оно вообще происходит, можно пройти один из онлайн ABX тестов по сравнению MP3 с lossless. Возможно, он поможет ответить на вопрос в заголовке темы.

2 Симпатий

не хватает третьего ответа, типа “ни то ни другое”

сконцентрировавшись на одном каком-то звуке из тестового фрагмента (например флейте, контрабасе или тарелочке) можно услышать разницу именно для этого инструмента, для этих нескольких нот на нём…
но оценить разницу между А и В в целом при быстром переключении не получится…
потому что разница может быть не только в подаче баса или прозрачности (что можно успеть услышать) а в целом комплексе каких-то различий

а вот когда слушаешь не торопясь набор знакомых тестовых треков (или одно большое любимое произведение) то в процессе понимаешь разницу в общем

получается что ДСТ не самый достоверный способ - но и совсем не бесполезное времяпрепровождение - отдельные моменты позволяет сравнить (скажем разницу в ВЧ или басе)

11 Симпатий

Интересно, а приборами можно зафиксировать разность спектрограмм?

При научном подходе, объективисты проводят ДСТ с целью получения ответа только на один вопрос – слышна разница между компонентами или нет. При этом считают ДСТ единственно верным и научно обоснованным методом достижения данной цели. В чем состоит эта разница – это уже совершенно другая тема, гораздо менее научная, так как у разных людей разные уши и предпочтения в том, как должно быть.

3 Симпатий

Для меня бесполезная трата времени и ресурса аппаратов.
Разницу между аппаратами досконально можно выявить только в своей системе и за значительный промежуток времени.
ДСТ хороший и надежный способ тестирования экспертов, а не аппаратов)))

8 Симпатий

Имеются в виду спектрограммы одного и того же музыкального фрагмента, пропущенного через разные провода например?

Вот как вам бы ответили объективисты:
Без проблем, можете сделать тест на своей системе и знакомой музыке. Главное, соблюдите все условия ДСТ.
Что касается необходимости значительного промежутка времени. А зачем? Наукой доказано, что аудиторная память человека составляет несколько секунд. Если между компонентами и есть какие то небольшие различия, то услышать их можно только на коротких фрагментах и только при быстром переключении между источниками.

всё зависит от выбранного музыкального фрагмента
например если аппараты отличаются в подаче баса, то только на записи отдельной бас-гитары или контрабаса разница слышна сразу - а на записи фрагмента БСО, допустим, явно слышимой разницы не будет…

А, в этом смысле. ДСТ не ограничивает в выборе музыкальных фрагментов, можно включить в тест все свои знакомые треки.

Хоть вот с этим

я и не согласен (потому что не вывели ещё методику измерений, которые однозначно описывали бы звучание того или иного аппарата), но считаю слепые тесты и инструментальные проверки необходимыми.

Вот тут и далее - интересно по теме.

Аудиофил, если не проверяет себя, что угодно может “услышать”… Особенно если знает, что нужно “услышать” :slightly_smiling_face:
Например, несколько людей утверждали, что Astell&Kern при выпуске нового топового плеера зашила в обновление прошивки для старого ухудшение качества звука и уменьшение громкости (чтоб новинка лучше продавалась, очевидно). Проверил, громкость на месте :grin:

было дело, пробовали… :relaxed:

например на первых 10 секундах этих треков


значительная разница явно слышна как между аппаратами, так и между разными кабелями для наушников…

разница такая, как буд-то эквалайзером покрутили…
значит ли из этого что “ДСТ самый достоверный способ?”
ну ок, значит проголосую что да :relaxed:

в памяти все и дело, такой тест больше направлен именно на быструю память. а вот если долго слушать один комплект, то мозг запоминает все нюансы звука прохождение сигнала по нейронам через синаптическую связь. синапс это и есть память. и потом очень легко отличить другой комплект.

2 Симпатий

Отличный пост и действительно интересная история превращения аудиофила в субъективиста. К сожалению, та тема закрыта, поэтому позволю себе процитировать @VitB полностью:

В связи с этим вопрос к @VitB и всем остальным. На мой взгляд процедура быстрого переключения между источниками, с прослушиванием коротких фрагментов по нескольку раз далеко не всегда позволяет слышать разницу, даже если четко ее слышишь при иных условиях. По собственному опыту происходит примерно следующее:

  1. включил A, потом B на 5-10 секунд – разницу слышишь четко и сразу
  2. снова переключил на А – разница есть, но уже меньше
  3. еще пощелкал несколько раз между A и B – все, различия полностью испарились
  4. отдохнул пять минут… повтор теста и снова слышишь разницу на первых включениях.

Может быть, при быстрой смене треков, наш мозг подстраивается под каждое включение и начинает воспринимать новый фрагмент, еще когда свежи воспоминания о предыдущем и в процессе подстраивания “додумывает” недостающие детали? Т.е. происходит что то вроде “замыливания” слухового восприятия? Кто то считает также?

Не знаю, насколько изучен данный эффект, но если он действительно имеет место, то это один из недостатков ДСТ.

4 Симпатий

а я готов обманываться, ведь научно доказано что прослушивание музыки доставляет такое-же удовольствие как секс и еда :relaxed:
а для аудиофила чем выше будет качество звучания, тем большим будет наслаждение…

с гедонистической точки зрения вообще не важно, объективные изменения приводят к увеличению удовольствия, или это игра воображения… никого же не смущает что в получении сексуального блаженства воображение играет не последнюю роль… так почему всем так важно существование объективных доказательств аудиофильского кайфа?

12 Симпатий

Денис, длину тестового отрезка никто не диктует. Определяйте самостоятельно. Хоть целый день слушайте один вариант, а потом переходите на другой.

С опытом я понял, что если вообще что то могу отличить статистически значимо, то это должны быть короткие отрывки с мгновенным переключением между ними. Тогда процесс занимает мало времени, ложных ответов мало.

Пример - сейчас тестирую разные виды цифровых кроссоверов с румкоррекцией для своих АС в сравнении с аналоговыми кроссоверами и PEQ коррекцией только НЧ диапазона. Разные варианты кроссовера могут работать несколько дней подряд. Ухо/мозг настолько быстро адаптируются к небольшим изменениям, что я просто не могу утверждать, что разница реально есть при использовании длительного тестирования. На уровне - ну вроде хорошо звучит, не больше. :grinning:

Однако, если записать звук на рекодер и прогнать через ABX тестер, то разница фиксируется легко. Речь именно о фиксируемой разнице, не оценке конкретного варианта.

Послушайте, например, вот эти варианты.
Лог ABX теста по одному из этих треков, например (10 успешных ответов из 10 попыток, обратите внимание на время между ответами - 10 -15 секунд):

foo_abx 2.0.6c report
foobar2000 v1.3.9
2019-11-04 11:56:08

File A: AL_crossover-3_norm.wav
SHA1: 9e87a7b5b515cb2d4215583fce094912c8008a61
File B: Analog-3_norm.wav
SHA1: 390c3595df6ded301ccf774348f8943ed4c23f3f

Output:
ASIO : ASIO MADIface USB
Crossfading: NO

11:56:08 : Test started.
12:00:27 : 01/01
12:00:41 : 02/02
12:01:01 : 03/03
12:01:12 : 04/04
12:01:19 : 05/05
12:01:31 : 06/06
12:01:39 : 07/07
12:01:47 : 08/08
12:02:07 : 09/09
12:02:14 : 10/10
12:02:14 : Test finished.

 ---------- 
Total: 10/10
p-value: 0.001 (0.1%)

 -- signature -- 
373683e09e0061764f771826f982d5e660130d54
3 Симпатий

В реальных сетапах все гораздо сложнее, поскольку у ламповой аппаратуры есть прогрев, например, и многие другие факторы, да и вопрос, обычно, стоит не есть-нет разницы, а стало или нет лучше. А вот какой из вариантов лучше он посерьезнее вопроса есть или нет разницы.

2 Симпатий

Самый большой недостаток слепого тестирования это неимоверная скука. Слепым тестированием занимаются либо производители, которым это действительно нужно, либо полные зануды. :crazy_face:

3 Симпатий

Я бы проголосовал за 4-й вариант: и то, и другое. Просто потому что это наиболее честный способ избавиться от “я слышу разницу, потому что я вижу разницу”, а с другой стороны ковыряние и ловля блох вместо получения удовольствия от музыки - злостная трата времени.

4 Симпатий

Есть еще один аспект. Если в голове нет эталона или он “притупился”, то слепое прослушивание может показать некую разницу в звучании тестируемых компонентов. Но, при этом первый фрагмент послужит “камертоном” для мозга, который будет настраиваться на это звучание и такую подачу. При быстром переключении второй вариант будет в менее выгодных условиях в этом случае, поскольку “камертон” уже прозвучал и мозг настроился на такой звук. Разницу, конечно услышишь, но что из этого лучше, можно будет понять только после пожив и переспав с компонентом.)

4 Симпатий

Очевидно, что слон в комнате в том, что взрячую все не просто всё отличают, но в разбросе небо/земля; а вслепую - тест неправильный, психоакустика мешает, скорость переключения не такая, некоторая разница непонятно хуже или лучше и т.д.

И это не подъъъка, это вопрос, который себе надо как-то объяснить.

4 Симпатий