Есть ли недостатки у двойного слепого тестирования аудио-компонентов? Почему быстрые перетыкания — это путь в никуда.

Я опять же хочу обратить внимание, что помимо восприятия человеком, что обсуждается в этом видео, насколько я могу понять с ютюб транслита. Есть еще довольно интересная тема с формированием компонентов в разных режимах работы, если существует прогрев как таковой, что как бы формирование характеристик в определенной системе при определенном наборе проходящих частот, то как бы изменение компонентов системы запускает этот прогрев заново, хотя конечно это формирование не длится неделями, и при этом я сомневаюсь что достаточно 10-20 секунд. Например в точных измерениях часто читаю про то, что ответственные измерения делаются после 30-60 минут включения аппаратуры, в уже отлаженной системе, вот вроде как парни из науки а такой фигней тоже страдают.

1 лайк

Мы то это с вами знаем, но полно людей, которые молятся на AES, а на любое высказывание аудиофилов, идущее вразрез с их представлениями о мире, требуют привести результаты научных экспериментов, опубликованных в специальных журналах. Никакие иные аргументы ими не воспринимаются: если наукой что то не доказано, то этого не существует.

Ничего я не путаю, я с этими объективистами ежедневно “воюю” на англоязычных форумах :slight_smile: Эти люди не только все меряют осциллографами, но и постоянно твердят, что, например, разницу между ЦАПами можно услышать исключительно в слепом тесте при быстрых переключениях между источниками, причем предварительно необходимо пройти специальный многомесячный тренинг по выявлению различных типов искажений в звуке.

А тут вдруг появляется научная работа от таких же ученых-инженеров-объективистов как они сами, опирающаяся на исследования более десятка других ученых, которая утверждает, что для полного осознания характера звучания ЦАПа надо его слушать как минимум неделю по 8 часов каждый день. Сходу возразить на эту работу не получится, придется провести не менее серъезное и длительное исследование.

Я тут обнаружил на главном форуме объективистов краткое обсуждение темы “slow listening”. Реакция вполне ожидаемая – переврали выводы авторов, не смогли ничего возразить по сути, быстро замяли и свели к шуточкам и мемам.

2 лайка

Слышали про основанные на слепых тестированиях эксперименты Флойда Тула для Harman-Kardon, показавшие, что якобы в своей массе люди предпочитают звучание колонок, демонстрирующих определенный набор технических характеристик и измеряемых параметров? Кстати, на этих исследованиях базируется дизайн акустики Revel (бренд, принадлежащий группе Harman-Kardon).

Так вот работа горячих финских парней из Genelec полностью перечеркивает выводы, сделанные Тулом, поскольку сделаны они были на основе слишком коротких прослушиваний. (“Subjective tests, even producing repeatable results, may have little long-term relevance if too confined in time. In case what is tested for is unfamiliar, slow listening could take as long as it would for the subject to learn a new language, maybe more.”)

Да пусть молятся, нам-то что? :slight_smile: У нас своя голова есть :slight_smile:

Ну, объективный метод - это по определению метод познания, основанный на объективных (то есть не зависящих от человека) обстоятельствах - то есть это строго измерения приборами и вычисления.
А всё что хоть как-то связано с прослушиванием и слуховой оценкой - уже имеет субъективные элементы восприятия.

Ну и кстати тренинг по определению искажений на слух - это очень правильное занятие и развитие, ну если он проводится по правильной методике, конечно.

Не совсем. Далеко не всё можно измерить приборами.
Если результаты получены на основе опроса достаточно большой и реперезентативной выборки слушателей, такой результат тоже объективен. Но надо правильно формировать вопрос, правильно ставить эксперимент, уметь правильно обрабатывать результаты, и хорошая выборка слушателей это долго и дорого. Поэтому такими исследованиями редко кто заморачивается, прибором ведь проще. Отсюда и пошёл весь этот дурацкий приборный объективизм.

1 лайк

Да уж — Испытания путем прослушивания: превращение мнения в ФАКТ

1 лайк

Ох, каждый раз, когда думаешь, что уже прочитал на dastereо всё важное и интересное, внезапно открывается портал на следующий уровень :slightly_smiling_face:

По тексту - там ребята сильно заморочились и строят нечто прекрасное, но труднореализуемое, такое не взлетит в промышленных масштабах. И опять упираемся в стандарты - что такое “стандартная система”, “стандартная комната”, “стандартная музыка” и т.п.?

Вариант тестов, более близкий к реальности, похож скорее на стереотур: производитель выдаёт респондентам варианты изделий А и Б, респонденты отслушивают их у себя, в своих системах, и выдают или единственое бинарное мнение - что лучше, А или Б, или, если слушатели продвинутые, дают несколько мнений по разным звуковым характеристикам. Это не слепой тест, он будет подвержен разнообразным biases типа “большие колонки звучат лучше”, но зато реализуемый в полевых условиях и хорошо отражающий действительность.

На форуме ASR народ даже как то поспорил на тему, являются ли слепые тесты, проведенные с соблюдением строгих правил, объективными. После дебатов сошлись на том, что любые тесты, в которых спрашивается мнение человека, по сути своей будут субъективными, но на основании результатов этих тестов можно делать объективные выводы :grinning:

Да, но этот тренинг учит воспринимать только заранее известные искажения, список которых очень ограничен. Он не помогает в ситуации, когда заранее неизвестно, какого звука ожидать от того или иного компонента и во что именно вслушиваться.

Они то это все реализовали, построив специальные лаборатории для таких тестов в Harman. Но теперь другие ребята из Genelec говорят, что все их усилия скорее всего привели к ошибочным выводам.

Про длительность прослушивания я, кстати, не заметил в тексте никаких конкретных указаний, возможно плохо читал.

Согласен, но всё что касается индивидуальной слуховой оценки техники принято называть субъективным (subjective) методом, причём в тех-же материалах AES. Лет 10 назад на сундуке разместил документ как раз посвящённый этой тематике:

AES recommended practice for professional audio — Subjective evaluation of loudspeakers

Вот со статисткой и статистической обработкой - да, можно говорить об объективности в методе.

недавно услышал:
в одной из научно-популярных передач Нил Деграсс Тайсон (а ему можно верить :wink: ) вскользь упомянул, что современной фундаментальной науке в принципе не понятно “что такое электрон”…
да, понятно, что это один из неделимых кирпичиков мироздания, наряду с фотоном и нейтрино… но какой он, что представляет из себя - нет никаких инструментов его измерить…

исходя из этого понятно, что и множество явлений, напрямую связанных с тем, что мы называем “электронами”, пока не совсем объяснимы научно…
и измерить их пока нельзя

2 лайка

Да, я это и имел в виду.

:man_facepalming:

Ну, общем-то так и есть, тут они правы :slight_smile:

Убрать человека из прослушиваний и оценки. Лишний он тут, не музыку же слушать собрались. Измерять!

1 лайк

Ага, это типа как заявить, что субъективные впечатления аудиофилов подвержены confirmation bias, а значит можно сделать объективный вывод, что скорее всего они несут чушь (но это не точно) :slight_smile:

Этим обычно все споры с объективистами и заканчиваются: нет смысла, говорят они, тратить время на всякие тесты, если все уже для вашего удобства давно измерено. Берите самый дешевый ЦАП с приемлемым SINAD (Apple dongle за $10 вполне сойдет) и звучать он будет неотличимо от топовых MSB ))

1 лайк

Необоснованный вывод думаю.

Расскажу по этому поводу небольшую историю. Как-то лет уже 10 назад или больше попал я на встречу клуба Soundeх. Слушали и обсуждали на тот момент топ-модель известной и дорогой немецкой акустики (цена десятки тыс. Е.) Слушали разные композиции, записи. Аудиофилы (авторитетные разумеется :slight_smile: ) достаточно активно и упорно обсуждали “пространство”, “локализацию”, “сцену”, “послезвучия” и тп. А я слышал заметные искажения при воспроизведении музыкального материала (точнее не мог сказать - сидел далеко и сбоку), и был очень удивлён и даже ошарашен, что никто из любителей аудио этого не замечает. Наконец, когда все высказались, я незаметно сообщил организаторам о том, что с этими АС что-то не так. Выяснилось, что у одной из колонок был неисправен ВЧ-говоритель и его увезли на ремонт (или замену, уже не помню).
Вот вам и субъективное тестирование, и размышление на тему “а надо ли тренировать слух для значимой оценки звука компонентов”. А ведь могли и дальше оценивать “прозрачность” и “эшелонированность планов”…

5 лайков

Выше по теме ответ :slight_smile:

С тех пор я очень, нет, очень критичен к субъективным оценкам коллег :slight_smile:
Ну и по реперным точкам - сходишь на выставку, послушаешь сетапы, а потом читаешь отзывы в сети и иногда немного шевелятся волосы :slight_smile:

А вы, кстати, уже ознакомились с прикольным тестом по поиску разницы в прослушивании одинаковых файлов, которая года 3 назад случилась на сундуке? :slight_smile: