Инструкция по интерфейсу для снятия омонимии: различия между версиями

Версия от 18:01, 18 октября 2012

Шаг №1: Регистрация

Зарегистрируйтесь на OpenCorpora.org или войдите через учётную вашу учётную запись в социальной сети (поддерживаются ВКонтакте, Twitter, Facebook и другие). Каждое задание мы показываем нескольким людям. Регистрация нужна для того, чтобы не показывать вам одно и то же задание несколько раз.

Шаг №2: Выбор типа заданий

Выберите тип заданий из списка на странице opencorpora.org/tasks.php (список заданий на этой странице отображается только у зарегистрированных пользователей).

Какие бывают задания?

В каждом задании нужно определить грамматическую характеристику одного слова в одном предложении. Грамматическая характеристика - это, например, род (мужской, женский, средний), число (единственное, множественное), падеж (именительный, родительный, дательный, ...) и т.д.. Какую именно категорию нужно определить - указано в названии типа. Выбирайте те типы заданий, названия которых кажутся вам понятными.

Чтобы выбирать было проще, перед названием задания цветными звёздочками указана его сложность (см. таблицу). Если звёздочка серая, то это значит, что мы пока не выбрали нужный цвет. Если вы у нас в первый раз - выбирайте зелёные задания.

У некоторых заданий есть инструкция. Со временем она появится у всех типов заданий. Если инструкции нет, то следуйте только общим правилам разметки, перечисленным в этом руководстве.

Градации сложности заданий
	Простые задания
	Не очень простые задания
	Сложные задания
	Очень сложные задания
	Сложность пока не определена.

Итак, вы выбрали тип задания и прочитали инструкцию, если эта инструкция уже написана. Теперь нажмите "Взять на разметку".

Шаг №3

Задания выдаются по 5 штук сразу (это число можно изменить в настройках пользователя). В каждом задании есть выделенное слово. Именно это слово мы размечаем, нажимая на одну из кнопок, расположенных под текстом задания. Вокруг выделенного слова есть его контекст. Мы показываем не более трёх слов контекста. Если для принятия решения нужно прочитать все слова от начала или до конца предложения, то нажмите на многоточие справа или слева от текста. Тогда вы увидите предложение целиком. При нажатии на "Прокомментировать" появится поле ввода комментария. Комментировать задание можно всегда, даже если вы не станете отвечать на него. Комментарий всегда попадает к модератору.

Как выполнять задания?

Для того, чтобы выполнить задание, нужно нажать на одну из кнопок-ответов. Если вы знаете ответ и уверены в нём - выбирайте одну из кнопок, на которых написаны грамматические характеристики ("единственное число", "именительный падеж", ...). Если вы видите, что ни одна из них не подходит, и вы уверены в этом - нажмите "Другое". Если вы сомневаетесь в ответе - нажмите "Пропустить". Разница между "Другое" и "Пропустить" в том, что в первом случае ваш ответ будет записан и отправлен к модератору, а во втором ("Пропустить") вы не даёте никакого ответа, а это задание покажут кому-то ещё. Пропуски не учитываются при определении согласованности и точности разметки. Комментарии сохраняются в любом случае.

Кнопки расширения контекста
	Открывает все слова от начала предложения до выделенного слова, если они есть.
	Открывает все слова от выделенного слова до конца предложения, если они есть.
Кнопки-ответы - нужно нажать на одну из них, чтобы выполнить задание
	Выбор правильной грамматической характеристики. Нажимайте на такие кнопки, когда вы уверены в ответе.
	Ни одна из приведённых грамматических характеристик не подходит. Нажимайте на эту кнопку, чтобы модератор посмотрел этот пример.
	Вы не знаете правильного ответа или не понимаете этого примера. Нажимайте эту кнопку, чтобы на этот пример ответил кто-нибудь другой.
Дополнительные действия
	Добавить комментарий. Пожалуйста, делайте это, если в качестве ответа вы нажали "Другое"
Кнопки внизу страницы
	Разметить ещё несколько заданий этого типа. Кнопка станет доступной, когда все ответы запишутся в базу данных на сервере. Если она недоступна длительное время, проверьте, все ли кнопки-ответы нажаты. Кроме этого, проверьте соединение с Интернетом. Если всё в порядке, то перезагрузите страницу.
	Закончить с этим типом заданий и начать делать что-нибудь другое.

Дальнейшие действия

Задания сгруппированы в пулы по несколько сотен штук (чаще всего по 200). На каждое задание отвечает несколько человек (чаще всего трое). Когда все задания в пуле выполнены заданным количеством участников, пул закрывается и перестаёт отображаться в списке доступных заданий. Закрытые пулы проверяют модераторы и принимают окончательные решения. После модерации ответы попадают в разметку корпуса и снимается часть неоднозначности.

Посмотреть статистику

Посмотрите статистику и найдите там себя. В таблице отображается ваше имя, общее количество ответов, количество ответов в полностью завершённых пулах, % расхождений, количество ответов в проверенных модераторами пулах, % ошибок, а также дата и время вашего последнего ответа.

Обратите внимание на % расхождений и % ошибок. Первое - это процент ваших ответов, которые не совпали с хотя бы одним из ответов других участников. % расхождений косвенно указывает на качество ваших ответов. Даже если вы делаете идеальную разметку (что невозможно, т.к. даже очень опытные люди делают случайные ошибки), ваши ответы могут не совпасть с кем-то, кто делает больше ошибок. Однако, если % расхождения существенным образом отличается от других участников, то, возможно, следует внимательно прочитать инструкцию по конкретному типу заданий. Другой причиной большого % расхождений может быть то, что вы часто нажимаете кнопку "Другое". Это, однако, не повод не нажимать её, если вы считаете нужным это делать.

% ошибок - это процент ваших ответов, не совпавших с ответами модератора. Он считается с большой задержкой (до нескольких недель), т.к. модераторы пока работают медленно.

@@ Строка 42: / Строка 42: @@
 [[Файл:Markup.png]]
+===Как выполнять задания?===
+Для того, чтобы выполнить задание, нужно нажать на одну из кнопок-ответов. Если вы знаете ответ и уверены в нём - выбирайте одну из кнопок, на которых написаны грамматические характеристики ("единственное число", "именительный падеж", ...). Если вы видите, что ни одна из них не подходит, и вы уверены в этом - нажмите "Другое". Если вы сомневаетесь в ответе - нажмите "Пропустить". Разница между "Другое" и "Пропустить" в том, что в первом случае ваш ответ будет записан и отправлен к модератору, а во втором ("Пропустить") вы не даёте никакого ответа, а это задание покажут кому-то ещё. Пропуски не учитываются при определении согласованности и точности разметки. Комментарии сохраняются в любом случае.
 {| class="table table-bordered"
@@ Строка 53: / Строка 56: @@
   | Открывает все слова от выделенного слова до конца предложения, если они есть.
   |-
-  | colspan="2" height="40" valign="bottom" | '''Кнопки-ответы''' - нужно нажать на одну из них, чтобы выполнить задание
+  | colspan="2" | '''Кнопки-ответы''' - нужно нажать на одну из них, чтобы выполнить задание
   |-
   | align="center" | [[Файл:Buttonanswer.png]]
@@ Строка 79: / Строка 82: @@
 |}
+==Дальнейшие действия==
+Задания сгруппированы в пулы по несколько сотен штук (чаще всего по 200). На каждое задание отвечает несколько человек (чаще всего трое). Когда все задания в пуле выполнены заданным количеством участников, пул закрывается и перестаёт отображаться в списке доступных заданий. Закрытые пулы проверяют модераторы и принимают окончательные решения. После модерации ответы попадают в разметку корпуса и снимается часть неоднозначности.
+===Посмотреть статистику===
+Посмотрите [http://opencorpora.org/?page=stats статистику] и найдите там себя. В таблице отображается ваше имя, общее количество ответов, количество ответов в полностью завершённых пулах, % расхождений, количество ответов в проверенных модераторами пулах, % ошибок, а также дата и время вашего последнего ответа.
-При нажатии на кнопки “Единственное число” или “Множественное число” происходит выбор варианта ответа. Кнопку “Другое” нужно нажимать в случае, если сам вопрос поставлен некорректно: например, в тексте опечатка или словарные гипотезы неверны (такое бывает, т.к. не все слова есть в словаре). Если у вас нет уверенности в правильном ответе, то нужно нажимать кнопку “Пропустить”. Бывают примеры, для разметки которых нужно вспоминать правила русской грамматики: например, в каком числе употребляются существительные после числительных. Мы считаем, что никто не обязан помнить все правила, поэтому для неочевидных случаев есть возможность пропустить пример. Его покажут кому-то другому, а пропуск не будет засчитан размечающему за ошибку.
+Обратите внимание на % расхождений и % ошибок. Первое - это процент ваших ответов, которые не совпали с хотя бы одним из ответов других участников. % расхождений косвенно указывает на качество ваших ответов. Даже если вы делаете идеальную разметку (что невозможно, т.к. даже очень опытные люди делают случайные ошибки), ваши ответы могут не совпасть с кем-то, кто делает больше ошибок. Однако, если % расхождения существенным образом отличается от других участников, то, возможно, следует внимательно прочитать инструкцию по конкретному типу заданий. Другой причиной большого % расхождений может быть то, что вы часто нажимаете кнопку "Другое". Это, однако, не повод не нажимать её, если вы считаете нужным это делать.
-Выбирая вариант “Другое”, а также в случае, если хочется обратить внимание модератора на данный пример, можно (если “Другое”, то нужно) оставить комментарий. По ссылке “Прокомментировать” для комментария открывается текстовое поле. Если отображённого на экране контекста слова недостаточно, то нужно нажать на кнопки расширения контекста (многоточия слева и справа от примера). При этом откроются все слова с начала или до конца предложения. Если целого предложения всё равно не достаточно для правильного ответа, то нужно выбрать вариант “Другое” и оставить комментарий, что это “неснимаемая неоднозначность”. Модератор разберётся.
-По грубым подсчётам, чтобы снять неоднозначность в собранной на настоящий момент коллекции текстов, с учётом того, что вопросы задаются трижды, нужно ответить на 4 миллиона вопросов. Если в этом будут участвовать 100 человек, то по 40 тысяч вопросов на человека (это много). Если 1000 человек, то по 4 тысячи (несколько часов работы). Если 10000, то по 400 (20-30 минут). Поскольку никаких особенных лингвистических знаний не требуется, можно звать друзей, знакомых и коллег. Если каждый разметит по чуть-чуть, мы вместе создадим морфологический слой разметки корпуса. Разработку морфологических анализаторов для русского языка после этого будут задавать в качестве домашнего задания студентам второго курса, т. к. необходимая математика уже имеется.
-В интерфейсе доступны следующие кнопки:
-* кнопки-ответы ("глагол", "существительное", "единственное число", "мужской род", ...) обозначают варианты ответа, в котором Вы уверены.
-* кнопку "другое" нужно нажать, если Вы уверены, что хорошо понимаете этот пример, и все варианты ответа неправильные (это случается, если у нас есть ошибка в словаре). При нажатии этой кнопки нужно будет также написать комментарий, объясняющий Вашу точку зрения. Писать комментарий также стоит, если Вы видите явную опечатку в самом примере. Они встречаются.
-* кнопку "пропустить" нужно нажать, если Вы сомневаетесь в ответе. Тогда этот конкретный пример Вам больше не будут показывать. Это нормально. Никто не обязан знать всё.
-* кнопки "..." слева и справа от примера нужно нажимать, если показанного контекста недостаточно для ответа на вопрос. Если после нажатия обеих кнопок с многоточием контекста всё ещё будет мало, то надо нажать кнопку "другое" и написать об этом в комментарии: не хватает контекста.
-* кнопка "Хочу ещё примеров!" загружает следующие пять примеров.
-Если Вы нажали какую-то из кнопок-ответов ошибочно, то просто нажмите правильную - новый ответ запишется поверх старого.
-= Основные правила =
-== Правило 1 ==
-На данном этапе разметки в корпусе не может быть слов, содержащих пробел. Таким образом, при разрешении неоднозначности составных предлогов (''в течение''), некоторых наречий (''в новинку'') и других слов, содержащих пробел, следует исходить из грамматических характеристик частей данных слов, а не из самого слова в целом:  ''в [ПРЕДЛОГ]   течение [СУЩ]'';   ''в [ПРЕДЛОГ] новинку [СУЩ]'';  ''к [ПРЕДЛОГ] счастью [СУЩ]''.
-== Правило 2 ==
-Если в процессе разметки вы заметили ошибку, непосредственно не связанную с выбранным заданием, напишите об этом комментарий и  '''обязательно''' снимите неоднозначность.
-Например:
-:Задание: "Прилагательное мр/жр"
-:Контекст: ''разговаривать с больной было трудно''
-В таком случае вы:
-) Пишете комментарий "больная - сущ"
+% ошибок - это процент ваших ответов, не совпавших с ответами модератора. Он считается с большой задержкой (до нескольких недель), т.к. модераторы пока работают медленно.
-) Снимаете неоднозначность, выбирая ответ "жр"
+===Присоединиться к команде===