Есть ли недостатки у двойного слепого тестирования аудио-компонентов? Почему быстрые перетыкания — это путь в никуда.

Да уж — Испытания путем прослушивания: превращение мнения в ФАКТ

1 лайк

Ох, каждый раз, когда думаешь, что уже прочитал на dastereо всё важное и интересное, внезапно открывается портал на следующий уровень :slightly_smiling_face:

По тексту - там ребята сильно заморочились и строят нечто прекрасное, но труднореализуемое, такое не взлетит в промышленных масштабах. И опять упираемся в стандарты - что такое “стандартная система”, “стандартная комната”, “стандартная музыка” и т.п.?

Вариант тестов, более близкий к реальности, похож скорее на стереотур: производитель выдаёт респондентам варианты изделий А и Б, респонденты отслушивают их у себя, в своих системах, и выдают или единственое бинарное мнение - что лучше, А или Б, или, если слушатели продвинутые, дают несколько мнений по разным звуковым характеристикам. Это не слепой тест, он будет подвержен разнообразным biases типа “большие колонки звучат лучше”, но зато реализуемый в полевых условиях и хорошо отражающий действительность.

На форуме ASR народ даже как то поспорил на тему, являются ли слепые тесты, проведенные с соблюдением строгих правил, объективными. После дебатов сошлись на том, что любые тесты, в которых спрашивается мнение человека, по сути своей будут субъективными, но на основании результатов этих тестов можно делать объективные выводы :grinning:

Да, но этот тренинг учит воспринимать только заранее известные искажения, список которых очень ограничен. Он не помогает в ситуации, когда заранее неизвестно, какого звука ожидать от того или иного компонента и во что именно вслушиваться.

Они то это все реализовали, построив специальные лаборатории для таких тестов в Harman. Но теперь другие ребята из Genelec говорят, что все их усилия скорее всего привели к ошибочным выводам.

Про длительность прослушивания я, кстати, не заметил в тексте никаких конкретных указаний, возможно плохо читал.

Согласен, но всё что касается индивидуальной слуховой оценки техники принято называть субъективным (subjective) методом, причём в тех-же материалах AES. Лет 10 назад на сундуке разместил документ как раз посвящённый этой тематике:

AES recommended practice for professional audio — Subjective evaluation of loudspeakers

Вот со статисткой и статистической обработкой - да, можно говорить об объективности в методе.

недавно услышал:
в одной из научно-популярных передач Нил Деграсс Тайсон (а ему можно верить :wink: ) вскользь упомянул, что современной фундаментальной науке в принципе не понятно “что такое электрон”…
да, понятно, что это один из неделимых кирпичиков мироздания, наряду с фотоном и нейтрино… но какой он, что представляет из себя - нет никаких инструментов его измерить…

исходя из этого понятно, что и множество явлений, напрямую связанных с тем, что мы называем “электронами”, пока не совсем объяснимы научно…
и измерить их пока нельзя

2 лайка

Да, я это и имел в виду.

:man_facepalming:

Ну, общем-то так и есть, тут они правы :slight_smile:

Убрать человека из прослушиваний и оценки. Лишний он тут, не музыку же слушать собрались. Измерять!

1 лайк

Ага, это типа как заявить, что субъективные впечатления аудиофилов подвержены confirmation bias, а значит можно сделать объективный вывод, что скорее всего они несут чушь (но это не точно) :slight_smile:

Этим обычно все споры с объективистами и заканчиваются: нет смысла, говорят они, тратить время на всякие тесты, если все уже для вашего удобства давно измерено. Берите самый дешевый ЦАП с приемлемым SINAD (Apple dongle за $10 вполне сойдет) и звучать он будет неотличимо от топовых MSB ))

1 лайк

Необоснованный вывод думаю.

Расскажу по этому поводу небольшую историю. Как-то лет уже 10 назад или больше попал я на встречу клуба Soundeх. Слушали и обсуждали на тот момент топ-модель известной и дорогой немецкой акустики (цена десятки тыс. Е.) Слушали разные композиции, записи. Аудиофилы (авторитетные разумеется :slight_smile: ) достаточно активно и упорно обсуждали “пространство”, “локализацию”, “сцену”, “послезвучия” и тп. А я слышал заметные искажения при воспроизведении музыкального материала (точнее не мог сказать - сидел далеко и сбоку), и был очень удивлён и даже ошарашен, что никто из любителей аудио этого не замечает. Наконец, когда все высказались, я незаметно сообщил организаторам о том, что с этими АС что-то не так. Выяснилось, что у одной из колонок был неисправен ВЧ-говоритель и его увезли на ремонт (или замену, уже не помню).
Вот вам и субъективное тестирование, и размышление на тему “а надо ли тренировать слух для значимой оценки звука компонентов”. А ведь могли и дальше оценивать “прозрачность” и “эшелонированность планов”…

5 лайков

Выше по теме ответ :slight_smile:

С тех пор я очень, нет, очень критичен к субъективным оценкам коллег :slight_smile:
Ну и по реперным точкам - сходишь на выставку, послушаешь сетапы, а потом читаешь отзывы в сети и иногда немного шевелятся волосы :slight_smile:

А вы, кстати, уже ознакомились с прикольным тестом по поиску разницы в прослушивании одинаковых файлов, которая года 3 назад случилась на сундуке? :slight_smile:

« Журналисты, поклонники науки , в борьбе со своими противниками, выезжавшими на остроумии , пролили в эту памятную эпопею потоки чернил; а некоторые из них даже пролили две-три капли крови, потому что из-за этого морского змия дело буквально доходило до схваток! Шесть месяцев длилась эта война с переменным успехом. … Остроумие победило науку»

По-моему не видел, кидайте ссылку.

Но я и тут на DAstereo видел веселый тест. Залил человек на ютуб сравнение звучания двух сетевых фильтров. Народ начал писать про лучший тональный баланс, натуральность скрипочек и т.п. А я скачал оба видео, вытащил звук, сравнил в Audacity и обнаружил, что там случился перекос стереобазы на пол-децибела: явно между записями был сдвинут микрофон, и из-за этого получилась вся разница. Никто из комментаторов этого перекоса не услышал.

Ну, просто перекос уровня по базе в 0,5dB я бы вряд ли услышал, да и вы тоже :slight_smile: Там с вероятностью 99% заметность обеспечилась не уровнями, а мельчайшим изменением стерео-картины и связанными с ним фазовым изменениям из-за нарушения идентичности позиционирования микрофонов - вот к таким вещам наше ухо очень и очень чувствительно (сотни тысяч лет эволюции для достижения способности ориентирования и реакции на опасность в тч на слух в темноте).

Ну а ссылочка вот, советую прочитать от начала и до конца. Очень занятный этюд получился :slight_smile:

Его было очень четко слышно при быстром переключение между фонограммами (вот где этот способ оказался полезен). А при обычном прослушивании разницу было слышно, но из-за чего она возникала определить было сложно.

Онлайн-эксперимент? :slight_smile:

Жаль, что это можно выявить даже не слушая в редакторе, так бы точно замутил :slight_smile:

Хотите я для всех сделаю файлы с перекосом между каналами в полдецибела, а вы сами вслепую попробуете определить где оригинал, а где обработанная копия?