Сервис работает в тестовом режиме — идёт бета-тестирование. Возможны ошибки.

Как считаем итог

Все исследования Лаборатории устроены одинаково: слушатель не знает, чья запись перед ним, — поэтому оценивает звук, а не название. Записи и состав сравнения закреплены на раунд, засчитываем только честно пройденные ответы, разницу признаём, только если она не случайна.

Как участвовать · Как провести исследование

Слепой тест: оценки от 1 до 5

Что звучит

В тесте 120 записей: 2 системы озвучки, 12 голосов (женские и мужские поровну), 10 фраз разного рода — новость, вопрос, разговор с клиентом, сказка, инструкция, имена и числа, трудные ударения. Каждую фразу произносит каждый голос.

Все записи выровнены по громкости и частоте, тишина по краям обрезана одинаково — чтобы одна запись не выделялась тем, что она громче или тише.

Порядок прохождения

  1. Слушатель отвечает на три вопроса: слушает ли в наушниках, родной ли ему русский, сколько ему лет. Имя и почту не спрашиваем.
  2. Ему выпадает 40 записей: каждая фраза в каждой системе звучит ровно один раз, у мужского и у женского голоса. Голоса распределяются по кругу, порядок перемешан: одна фраза два раза подряд не идёт, одна система — не больше двух раз подряд.
  3. Каждую запись нужно дослушать до конца, затем поставить две оценки от 1 до 5: чистота звука (шумы, треск, «металл», обрывы) и естественность (похоже ли на живого человека: интонация, паузы, ударения).
  4. Можно прерваться и вернуться с того же устройства — тест продолжится с того же места.

Кого засчитываем

Засчитываем слушателя, который прошёл тест до конца и не ставил везде одну и ту же оценку. Неполные ответы и ответы «не глядя» в итог не идут.

Как считаем балл

Сначала у каждого засчитанного слушателя считаем его средний балл по каждой системе, потом — среднее по слушателям. Это средняя оценка мнения (её принято называть MOS). Рядом пишем точность: «4,1 ± 0,2» значит, что при 95-процентной уверенности настоящее среднее лежит между 3,9 и 4,3. Чем больше слушателей, тем меньше «±».

Есть ли разница

Две системы сравниваем по одним и тем же слушателям — каждый слушал обе. Применяем парный критерий Уилкоксона и поправку Холма на число сравнений. «Разница есть» пишем, только если вероятность получить такую разницу случайно меньше 5 %. Иначе пишем «разницы не видно» — даже если средние немного отличаются.

Раунды

Набор систем и записей закреплён на раунд. Если добавляется новая система, начинается новый раунд, а итоги прошлого сохраняются отдельно — оценки разных раундов не складываются.

«А или Б?»: выбор из пары

Человеку проще сравнить две записи, чем поставить абсолютный балл, — поэтому разница между системами видна при меньшем числе слушателей.

Порядок прохождения

  1. Слушателю выпадает по одной паре на каждую фразу у мужского и у женского голоса: одна и та же фраза, две системы, голоса одного пола. Какая запись слева, а какая справа — случайно; одна фраза два раза подряд не идёт.
  2. Обе записи нужно дослушать до конца, затем выбрать: «Лучше А», «Лучше Б» или «Одинаково».
  3. Если организатор включил проверку наушников — перед началом сигнал звучит в одном ухе, нужно назвать, в каком. Это не отсев: ответы с проверкой и без видны отдельно.

Кого засчитываем

Того, кто прошёл до конца, не выбирал всегда одну и ту же сторону, не ответил «одинаково» на всё и не провалил контроль. Контроль — пара, где одна запись — испорченная копия другой (узкая полоса, грубый звук): если копию выбрали как лучшую, ответы не идут в итог.

Как считаем итог

У каждого засчитанного слушателя считаем долю пар, где он выбрал систему 1 (ответы «одинаково» не считаются), потом — среднее этих долей по слушателям ± точность (95 %). Разницу проверяем по слушателям парным критерием Уилкоксона против половины (50 %) с поправкой Холма на число сравнений. «Разница есть» — только если вероятность случайности меньше 5 %.

Пройти слепой тест