Есть ли недостатки у двойного слепого тестирования аудио-компонентов? Почему быстрые перетыкания — это путь в никуда.

СТЕРЕО-мир
345

Денис, спасибо за статью.

Но, IMO, вы несколько своеобразно интерпретировали результаты.

Основной смысл оригинальной статьи, с моей точки зрения - необходимость стандартизации времени фрагмента сравнительного прослушивания (оптимальный интервал) и рекомендации по выделению трех видов тестирования (чего ранее, видимо, не было).

Time means enough to satisfy every experience / learning / fatigue-probing criteria, or less. The time required could depend on whether or not the subject is multilingual or a musician, on his or her age, sound pressure level, etc., but three practical categories are suggested: Easy listening, trained listening, and slow listening.

Основные смысловые абзацы, как мне показалось - IMPLICATIONS FOR AES, CONCLUSION.

Собственно предложения вполне уместные и подходящие для дискуссии в профессиональных кругах. 400 мс grey zone вполне мне понятна. Для оценки интенсивности и частоты в НЧ области человеку необходимы десятки мс, например.

Простой пример - “слышимость” искажений в НЧ области.

На специальных сигналах (не музыкальных), в контролируемых условиях получаем примерно такие результаты (Fielder and Benjamin, AES)

image
image701×369 46.7 KB

На музыкальном сигнале пороги другие (CEA-2010, стандарт для тестирования сабвуферов)

image
image889×624 78.8 KB

Т.е. “слышимость” в % (переводим dB в %):

  • 2 гармоника - 31%
  • 3 гармоника - 18%
  • 4 гармоника - 10%
    …

Эти данные нисколько не противоречат друг другу - музыкальный сигнал успешно маскирует искажения. Поэтому их сложнее заметить.

Тренированный слушатель заметит разницу с большей вероятностью. Но тренированность понятие весьма специфичное. Тренированный ! = аудиофил. См например Toole/Olive (подготовленные слушатели отличаются повторяемостью оценок)

image
image904×455 49.4 KB

Разброс оценок даже среди подготовленных слушателей заметен. Т.е. существуют индивидуальные предпочтения
image
image951×705 60.6 KB

На специальных сигналах искажения заметнее, чем на музыкальном. Но мы их не слушаем. В музыкальном произведении есть отрывки, напоминающие по сигнатуре тестовый сигнал (для определенного вида искажений), поэтому расслабленное, продолжительное прослушивание может помочь слушателю найти наиболее подходящие отрывки и сосредоточить внимание на них. Предполагаю, что подготовленный слушатель справится с этой работой быстрее.

Т.е. суть статьи (IMO) - предложить тему для последующей научной дискуссии.

Для нас, аудиофилов, она ничего не значит.
Т.к. мы, аудиофилы, в общем не используем эти методики в сравнительном тестировании.

3 лайка
346

Виталий, вы почему то полностью пропустили часть про slow listening, которое по мнению авторов, необходимо для полноценной оценки звучания аппаратуры, не важно кем, аудиофилами или учеными:

‘Based on a limited perceptual bandwidth and 8 hours of dedicated listening per day, getting to know a room and equipment in any detail would take at least a week, but assuming years would be safer”

347

Да всё то же - лирика, умноженная на 2.

Сразу начинается с передёргивания:

“Pro audio is coming around to what audiophiles have known for years.”

Ну, это мягко говоря не соответствует действительности.
Абсолютно любой специалист в области звука скажет, что он много раз переслушивает разультаты своей работы, чтобы внести изменения и убедиться что всё ок. Иногда это в результате выливается в сотни прослушиваний, иногда к этому возвращаешься через день-другой, чтобы избавиться от эффекта “замыливания” ушей. А что это если не "Slow Listening”? Не знаю ни одного коллеги, который с первого раза сводил трек и больше не возвращался к нему и не вносил никаких изменений.

Есть и мнения известных профессионалов конкретно по теме сравнения.
Вот что говорил в интервью Джеймс Гатри - звукорежиссёр всех альбомов Pink Floyd начиная c The Wall:
“Doing a very quick A/B listening session between source files can be misleading. It’s important to take your time, and it’s crucial to listen to both files at a matched level.”

Кстати рекомендую прочитать интервью целиком, оно гораздо интереснее этого пересказа в Stereophile.

http://www.enjoythemusic.com/magazine/music/1015/James_Guthrie_Interview.htm

Таким образом, редакционная статья интерпретирует важную проблему, но никакой бомбой она не является и затрагивает вопросы которые давно и успешно решаются в профессиональной области.

5 лайков
348

Далеко не абсолютно любой. Такие гуру как Флойд Тул проведя ряд быстрых экспериментов со слепыми прослушиваниями, сделали вывод, что большинству людей в звуке нравится одно и то же. На его опытах базируется теория объективистов о том, что хорошего звука можно добиться измерениями.

1 лайк
349

Я готов перевести статью. Нужно? Точнее интересно боярам?

1 лайк
350

Как ты на ходу переобуваешься! Ух!

351

Ой! Где?

352

Было бы здорово. Переводить лучше эту статью, из Стереофила.

353

Это уже ближе к научной статистике, чем непосредственно к практике. Я писал про работающих с звуком специалистов - звукорежиссёров, ассистентов и тд и тп.

354

Да, мы все это давно знали, но не могли объяснить. А авторы объяснили и сделали это впервые с научной точки зрения.

355

Именно ее. Время медленного (неспешного, вдумчивого) прослушивания.

1 лайк
356

Да, спасибо, увидел.

Достаточно неоднозначно сформулировано. Я поясню:

listeners should either use a room and equipment they know intimately, or have plenty of time to get to know an acoustic environment before any tests are performed

С одной стороны это понятно - в незнакомой акустически обстановке выявление незначительных изменений затруднено, т.к. слушатель обращает внимание на отличия, связанные с комнатой, а не объектом оценки (время отражений, реверберация, комнатные моды).

С другой стороны:

  1. Есть концепция “слушаем через комнату” (Olive/Toole). Появилась в результате многолетних исследований субъективного восприятия АС. Основана на факте - результат субъективной оценки АС одной и той же группой слушателей не зависит от комнаты. Т.е. слушатель быстро адаптируется к акустической обстановке. На ASR читал о том, что адаптация занимает несколько десяктов секунд / минуты при самых неблагоприятных обстоятельствах.
    Toole на форуме ASR поясняет, что это связано с тем, что мы живем и общаемся в замкнутых пространствах. Мозг достаточно адаптирован к “расшифровке” влияний комнаты.
    Пример - во время беседы вы выходите из комнаты в гулкий холл и достаточно быстро адаптируетесь. Т.е. совершенно спокойно продолжаете общаться. Не нужно 8 часов привыкать.
  2. Акустические характеристики комнат стандартизированны в высокой степени (например Methods for the subjective assessment of small impairments in audio systems, ITU-R BS.1116-3). Т.е. строго говоря нужно доказать, что результат оценки в DBT (например) у группы адаптированных к акустической обстановке конкретной КдП будет существенно отличаться от группы не адаптированных. Это достаточно просто организовать, странно что подобный эксперимент не проведен авторами статьи.
  3. Можно ведь использовать свои любимые и привычные наушники? Ряд тестов Olive/Toole так и проходили - разные АС записывались в разных КдП и высылались представителям разных стран (исследовалась зависимость оценки АС от национальности). Оказалось, что результаты коррелируют (сравнительные оценки не зависели от КдП и национальности). Кстати и пола, возраста итд.

Время прослушивания не регламентировалось. Слушатель сам управлял процессом переключения (пульт ДУ у слушателя - воспоминания участников). Просто не видел что играет.

Так и есть, конечно.

Совершенно не понятный вывод, кстати.

Быстрый А/B тест не является достаточным условием корректного сравнения. На некоторых фрагментах вы в принципе не найдете разницы. Плюс громкость должна быть выровнена. Плюс есть зависимость от подготовленности слушателя (т.е. я, например, разницу не услышу, подготовленный человек - услышит).

В целом
Статья интересная, хотя и не бесспорная. Скорее согласен с Дмитрием @Dmitry. Т.е. было бы интересно обсудить эти вопросы глубоко с авторами. Указано много известных концепций (Perceptual Bandwidth, зависимость восприятия от опыта итд), но не до конца ясны логические связки и выводы.

1 лайк
357

Сколько времени в процессе этих исследований давалось слушателям на оценку звучания каждой из АС? Минуты, часы? Вряд ли неделя по 8 часов каждый день, так ведь?

358

Длительность прослушивания определялась слушателем. По его (слушателя) усмотрению. Не 8 часов каждый день.

Slow Listening is used for investigating audio questions of possible long-term influence, where all four quadrants of Fig. 2 have to be considered. Slow listening should at least employ the time an experienced listener needs to potentially quantify fatigue, i.e., typically hours under completely known and controlled conditions including listening level …

Я вижу в статье призыв изучать эффект длительного слушания (т.е. в коротком слепом разницы не слышу, слушаю неделями - слышу и могу описать). В контролируемых условиях (уровень громкости, слепой).

Да, имеет смысл изучать вопрос. Солидаризируюсь с авторами.

Лично мне было бы интересно узнать будут ли отличия в слепых тестах разной длительности (например 1 мин vs несколько дней).

Но в статье ответа на этот вопрос нет.

2 лайка
359

Какие тесты вы имеете в виду? Авторы предлагают делить тесты на три вида: Easy Listening, Trained Listening и Slow Listening. Первые два очень сильно ограничены в том какие именно аспекты звучания аппаратуры они могут гарантированно выявлять.

Для оценки звучания аппаратуры с целью выявления индивидуальных предпочтений по мнению авторов подходит только Slow Listening, при этом на проведение такого рода теста нужно очень и очень много времени: “slow listening could take as long as it would for the subject to learn a new language, maybe more”. В своей видео-презентации, которая тут была ранее выложена, авторы называют любой тест по прослушиванию аппаратуры, длящийся меньше года, “быстрым”

360

Допустим, всё так, и для того, чтобы выводы могли считаться обоснованными, необходимо слушать месяцами по 8 ч в день… что это даёт на практике? Всё тлен, ничего нельзя отслушать быстрее, чем за годы - а значит никогда?

1 лайк
361

В этом пункте мое личное мнение сильно расходится с мнением авторов статьи. :grinning:

Купи Genelec, слушай его более года. Потом поймешь стоит ли менять.

Не такая уж и фигня, если подумать. :grinning:

362

Только у них не мнение, а научно-обоснованное исследование.

Много полезного:

  • если в быстром тесте не слышно разницы, это не значит, что ее нет
  • если в быстром тесте слышна разница, это не значит, что нет другой разницы, еще
    более важной с точки зрения слушателя в долгосрочном плане
  • ABX-тесты с мгновенным переключением между сравниваемыми аппаратами не выявляют всех различий
  • выводы о предпочтениях слушателей, сделанные на основе коротких тестов, ошибочны
  • аудиофилы были правы в своем подходе к оценке звучания аппаратуры с чувством, толком, расстановкой :slight_smile:
1 лайк
363

Ничего они по сути не объяснили. Скорее ставят вопросы, нежели дают чёткие ответы.

8 часов в день, каждый день, и не фоном, а прилагая усилия для анализа? Да это работа! И очень не лёгкая поверьте, если действительно работать, а не профанировать. Не представляю, где будут набирать квалифицированных добровольцев для таких исследований :slight_smile:

Ну, год - это комично, разумеется :slight_smile:

Напоминает авиапассажира, который увидев в иллюминатор статую Свободы начинает восклицать - “Америка! Я открыл Америку! Скорее все сюда - это Америка!” :slight_smile:

Ну и по пунктам можно поправить, ближе к реалиям, без экстремизма:

  • если в быстром тесте не слышно разницы, это не значит, что ее нет, но и принципиального различия ждать не нужно.

  • если в быстром тесте слышна разница, это не значит, что нет другой разницы, еще
    более важной с точки зрения слушателя в долгосрочном плане, но и совсем не обязательно, что ещё что-то в этой области удастся обнаружить.

  • ABX-тесты с мгновенным переключением между сравниваемыми аппаратами могут и не выявить всех различий.

  • выводы о предпочтениях слушателей, сделанные на основе коротких тестов, могут быть ошибочны. А могут и не быть.

  • аудиофилы были правы в своем подходе к оценке звучания аппаратуры с чувством, толком, расстановкой. Но как выясняется, они опоздали лет на 100 - саунд-продюсеры используют этот подход практически с начала эры звукозаписи :slight_smile:

7 лайков
364

Т.е. страницы, потраченные авторами на объяснение того как и с какой скоростью наш мозг принимает и осмысляет аудио-информацию были ими исписаны зря? А про различия между вниманием, осознанным и неосознанным восприятием? После всего этого у вас остались какие то вопросы? Задавайте, обсудим вместе.

1 лайк