Уровни разметки

Тексты, метаинформация

Корпус состоит из текстов, подходящих для включения в корпус с лицензионной точки зрения. Тексты организованы иерархически; относительно короткая статья или новостная заметка целиком включается в один текст, более длинные произведения могут быть разбиты на несколько текстов (например, по главам, разделам и т.п.).

Любому тексту может соответствовать любое количество тегов, содержащих информацию о тексте целиком: автор, дата создания, источник (по возможности указывается url) и т.д.

Добавление текстов производится вручную. Решение о том, разбивать текст на более мелкие или нет, оставляется на усмотрение добавляющего. Простановка тегов по возможности автоматизируется (например, для Викиновостей), но для некоторых источников их нужно проставлять вручную при добавлении текста (см. инструкцию).

Контроль качества

Существует некоторое количество валидаторов, которые проверяют наличие и корректность некоторых тегов. Результаты работы валидаторов отображаются здесь.

Сегментация

Текст членится на абзацы (это разделение берётся из источника) и предложения. Деление на предложения производится вручную по некоторым правилам.

Контроль качества

Тривиальный не очень точный классификатор, результаты видны здесь.

Токенизация

Токенизация - процесс деления предложения на токены. Токен - минимальная адресуемая единица корпуса, чаще всего это слово. Внутри токена не может быть пробелов, других ограничений не накладывается. (Это имеет побочный эффект: если в исходном тексте допущена опечатка и токен разбит пробелом, мы не можем его склеить обратно.)

Деление текста на токены производится автоматически при добавлении текста (описание классификатора). Иногда классификатор ошибается, поэтому в случаях, когда он не уверен, его проверяет человек по инструкции.

Контроль качества

Тот же самый классификатор умеет находить странные, с его точки зрения, случаи токенизации в корпусе (обновляемый список здесь). Можно добавлять исключения.

Морфология

Морфологический разбор каждого токена генерируется при добавлении текста по морфологическому словарю (см. ниже): каждый токен получает один или несколько разборов из словаря (либо помету о том, что токен является неизвестным словом или не является словом вообще). В дальнейшем токены, получившие несколько разборов, попадают в пулы для снятия неоднозначности. В идеальном случае каждый токен должен иметь один разбор или помету о том, что неоднозначность снять нельзя.

Контроль качества

Снятие неоднозначности производится пользователями, но их ответы (частично) модерируются. Дальнейший контроль качества пока не реализован.

Морфологический словарь

Морфологический словарь существует над множеством граммем и правил их сочетаемости (дополнительное правило: в общем случае в парадигме не должно быть двух форм с полностью совпадающим набором граммем). Случаи несоблюдения этих правил, а также исключения, регистрируются здесь.

Лексическая семантика

В ближайших планах.

Синтаксис

В планах. Сначала многословные сущности (составные предлоги, союзы и т.п.)

Именованные сущности

Разметка начата. Каждый текст размечается четырьмя пользователями, их ответы модерируются. Инструкция.