Участник:Andrey Kruglov/Заметки по модерированию заданий на снятий неоднозначности

Зачем нужны четыре ответа размечающих

Дмитрий на видео (смотреть с 01:34) говорит:

У нас предусмотрена ступенчатая система проверки ... Можно спорить с тем насколько это снижает трудоёмкость работы, мы считает что снижает (проверять гораздо быстрее, чем снимать неоднозначность самому)

После того, как я промодерировал несколько пулов, понял - да, проще. Обычно на 200 заданий примерно в 50-70% случаев (а то и больше - зависит в основном от сложности пула) все размечающие согласны друг с другом.

Модераторы проверяют каждое слово или нет?

В принципе, в FAQ написано, что модераторы не проверяют согласованные ответы. Не скажу за всех, скажу за падежи существительных-прилагательных, которые модерировал. Если бы у размечающего была возможность смотреть контекст (нужно проверять назывные предложения, списки) - то возможно, я бы и не смотрел согласованные ответы. А так я точно знаю, что существует до 20-30% ответов, которые все трое размечающих ставят в именительный - и ответы-то согласованы, да толку?? Поэтому свои пулы я проверяю полностью.

Оранжевый ответ

Из личной статистики (на примере модерирования пулов существительных и прилагательных) могу сказать следующее.

Если все размечающие согласны друг с другом -- то вероятность ошибки крайне низкая. В среднем, на три двушечки наберётся 1-2 "оранжевых" примера (где модератор не согласился с мнением согласных друг с другом размечающих). Это менее одного процента.