Все исследования Лаборатории устроены одинаково: слушатель не знает, чья запись перед ним, — поэтому оценивает звук, а не название. Записи и состав сравнения закреплены на раунд, засчитываем только честно пройденные ответы, разницу признаём, только если она не случайна.
Как участвовать · Как провести исследование
В тесте 120 записей: 2 системы озвучки, 12 голосов (женские и мужские поровну), 10 фраз разного рода — новость, вопрос, разговор с клиентом, сказка, инструкция, имена и числа, трудные ударения. Каждую фразу произносит каждый голос.
Все записи выровнены по громкости и частоте, тишина по краям обрезана одинаково — чтобы одна запись не выделялась тем, что она громче или тише.
Засчитываем слушателя, который прошёл тест до конца и не ставил везде одну и ту же оценку. Неполные ответы и ответы «не глядя» в итог не идут.
Сначала у каждого засчитанного слушателя считаем его средний балл по каждой системе, потом — среднее по слушателям. Это средняя оценка мнения (её принято называть MOS). Рядом пишем точность: «4,1 ± 0,2» значит, что при 95-процентной уверенности настоящее среднее лежит между 3,9 и 4,3. Чем больше слушателей, тем меньше «±».
Две системы сравниваем по одним и тем же слушателям — каждый слушал обе. Применяем парный критерий Уилкоксона и поправку Холма на число сравнений. «Разница есть» пишем, только если вероятность получить такую разницу случайно меньше 5 %. Иначе пишем «разницы не видно» — даже если средние немного отличаются.
Набор систем и записей закреплён на раунд. Если добавляется новая система, начинается новый раунд, а итоги прошлого сохраняются отдельно — оценки разных раундов не складываются.
Человеку проще сравнить две записи, чем поставить абсолютный балл, — поэтому разница между системами видна при меньшем числе слушателей.
Того, кто прошёл до конца, не выбирал всегда одну и ту же сторону, не ответил «одинаково» на всё и не провалил контроль. Контроль — пара, где одна запись — испорченная копия другой (узкая полоса, грубый звук): если копию выбрали как лучшую, ответы не идут в итог.
У каждого засчитанного слушателя считаем долю пар, где он выбрал систему 1 (ответы «одинаково» не считаются), потом — среднее этих долей по слушателям ± точность (95 %). Разницу проверяем по слушателям парным критерием Уилкоксона против половины (50 %) с поправкой Холма на число сравнений. «Разница есть» — только если вероятность случайности меньше 5 %.