Тестирование интерфейса снятия морфологической неоднозначности - итерация 2
Это инструкция по тестированию интерфейса снятия морфологической неоднозначности.
Что такое морфологическая неоднозначность?
Одна и та же текстоформа может соответствовать
- разным формам одного слова ("лодки" - ед. родительный, мн. именительный или винительный)
- разным словам одной части речи ("море" - мор, море, мора)
- разным словам разных частей речи ("стекло" - стекло, стечь)
Когда мы снимаем морфологическую неоднозначность, мы выбираем единственно правильный морфологический разбор слова, если это возможно. Это возможно не всегда. Например, предложение "Эти типы стали есть в цехе" имеет не только два морфологических, но также два синтаксических и семантических разбора. Но чаще всего единственно правильный вариант выбрать можно.
При автоматическом анализе текста при помощи морфологического словаря мы можем получить только набор вариантов разбора, и это мы делаем при добавлении текстов в корпус. В нашем проекте, поскольку мы делаем образцово-показательную разметку, правильный вариант нужно выбирать вручную.
Первоначально мы придумали вот такой интерфейс для редактирования морфологических разборов:
http://wiki.iphil.ru/corpus/sentence.php?id=18066
Красный крестик удаляет неверный разбор, зелёная галочка выбирает единственно верный.
Для визуализации и исправления ошибок он кажется удобным, но, с точки зрения скорости работы редактора, он кажется не оптимальным, т.к. каждое следующее слово ставит новую задачу, на которую придётся переключаться.
Интерфейс
Чтобы сэкономить время редакторов, мы решили группировать однотипные примеры и дробить задачу снятия неоднозначности на части. Например, можно выбрать задачу определения только числа существительного и ближайшие 20 минут заниматься только ею. Это кажется более эффективным подходом.
Кроме того, таким образом можно выбирать только те задачи, которые кажутся понятными. Например, почти любой школьник может отличить единственное число от множественного и мужской род от среднего. Отличить винительный падеж от родительного или от именительного уже сложнее.
В новом интерфейсе вам будет предложен набор фрагментов предложений, где зелёным фоном выделено слово, про которое задаётся вопрос. Под каждым фрагментом предложения есть четыре кнопки:
- вариант разбора No.1 (например, единственное число)
- вариант разбора No.2 (например, множественное число)
- кнопка "Другое" - нужно нажимать, если вы уверены, что ни один из вариантов разбора не верен
- кнопка "Пропустить" - нужно нажимать, если вы не уверены в ответе.
Первые три кнопки следует нажимать в том случае, если вы совершенно уверены в том, что знаете правильный разбор. На случай, если вы сомневаетесь или не знаете, что нажать, сделана кнопка "Пропустить". Когда вы её нажмёте, пример будет передан кому-то другому. Это совершенно нормально, т.к. вы не обязаны знать все ответы. Одна из целей тестирования - найти те случаи, которые вызывают затруднения и написать для них инструкции.
Группы однотипных заданий мы называем пулами заданий. Для тестирования мы сгенерировали шесть пулов:
- Тестовый пул "Прилагательное мужской / средний род"
- Тестовый пул "Прилагательное единственное / множественное число"
- Тестовый пул "Существительное, ед. ч., рд / вн"
- Тестовый пул "Существительное / Наречие"
- Тестовый пул "Существительное / Глагол"
- Тестовый пул "Прилагательное / Причастие"
В каждом из них по 100 заданий. Не обязательно отвечать на все сразу. И вообще, не обязательно отвечать на все 100. Сделайте столько, на сколько у вас хватит времени. На все задания нужно где-то те самые 40 - 60 минут.
Предложенного фрагмента предложения (слово на зелёном фоне + 4 слова справа и слева) может быть недостаточно для того, чтобы правильно ответить на вопрос. На этот случай есть кнопки расширения контекста (многоточие на сером фоне справа и слева). Нажмите их, чтобы увидеть весь текст предложения от начала (многоточие слева) или до конца (многоточие справа). Можно нажать обе.
Тестирование - это пока ещё не сама работа по снятию неоднозначности. По этой причине мы запускаем его на тестовом сервере с неполной версией корпуса: http://wiki.iphil.ru/corpus/
Для того, чтобы принять участие в тестировании, нужно зарегистрироваться на этом сайте и прислать мне ([email protected]) свой логин. После этого, я дам вам нужные права и вы сможете начать отвечать на вопросы.
Список пулов (после выдачи прав) будет доступен на странице http://wiki.iphil.ru/corpus/tasks.php
Что будет потом?
Скорее всего будет ещё 1 - 2 итерации тестирования интерфейса. Данные, полученные в ходе тестирования, возможно, будут использованы только для поиска проблем в интерфейсе и логике, но не будут перенесены в сам корпус. По этой причине тестовые пулы маленькие.
Потом этот интерфейс переедет на opencorpora.org, т.е. на нашу основную базу. Для каждого типа заданий будут написаны инструкции и эти задания будут опубликованы уже вместе с инструкциями. Полученные данные уже будут переноситься из пулов в корпус. Процедуру переноса мы будем додумывать на результатах нынешнего тестирования.
Для того, чтобы в корпус попадали только хорошо проверенные ответы, каждое задание выдаётся нескольким участникам. Перенос ответов из пула в разметку будет проходить в полуавтоматическом режиме: если все участники ответили одинаково, то ответ будет перенесён в разметку без перепроверки. Если есть различия, то окончательное решение будет принимать ответственный за данный тип заданий вручную.
В результате описанной деятельности будут генерироваться два типа данных:
- дампы корпуса со снятой омонимией (тексты и правильные разборы)
- логи процесса разметки (записи о событиях нажатия на кнопки в интерфейсе снятия неоднозначности с указанием времени нажатия)
Дампы будут нужны тем, кто разрабатываем программы для анализа текста.
Логи - тем, кто изучает процессы понимания текста. Поскольку для ответов на вопросы в заданиях нужно провести частичный анализ предложения, информация о том, сколько времени занял этот анализ и нужно ли было открывать целое предложение, может быть полезна для изучения того, как человек выполняет задачу понимания текста.
О вопросах и проблемах, которые возникнут в ходе тестирования пишите мне ([email protected]) письма.