(англ. parsing): приписывание определенных синтаксических признаков слову или сочетанию слов;
● семантическая разметка (англ. semantic annotation): включение лексемы в определенный лексико-семантический класс;
● создание семантических сетей (англ. semantic network, frame network): маркировка семантических связей между лексемами.
Этим все возможные типы аннотирования не исчерпываются. Существуют и другие, более специализированные, разметки: фонетическая, просодическая, анафорическая и прочие. Но первым по времени и наиболее развитым объектом аннотирования стала морфология, на основе которой строятся другие типы разметок. Это связано с тем, что компьютер очень легко находит цепочки символов от пробела до пробела – текстоформы, или токены (англ. tokens).
Трудно представить корпус, который смог бы объединить все виды разметок. Корпус, содержащий несколько уровней аннотации, оказывается (во всяком случае сейчас и в обозримом будущем) или непоследовательным, или теоретически не нейтральным. К этому добавляется и проблема «большой» лингвистики. Если взгляды на морфологию в лингвистике более-менее совпадают, то в основе алгоритмов синтаксического разбора часто лежат разные теории. Еще больше сложностей возникает при описании семантического компонента языковых единиц. Эклектичность и неравномерная представленность разных языковых уровней в языковых корпусах выявляет две реально существующие проблемы современной лингвистики: отсутствие полных теоретически обоснованных и общепринятых классификаций, с одной стороны, и сложность (граничащая с невозможностью) автоматического аннотирования на основе этих классификаций – с другой. Всякий языковой корпус в силу необходимости тотального описания материала кристаллизует проблемные области в описании того или иного языка. И в этом смысле корпус является не только инструментом для быстрого поиска примеров, но и источником совершенствования и теоретических, и чисто дескриптивных подходов к определенному языку.
Дополнительная литература
1. Bird S., Liberman M. A formal framework for linguistic annotation // Speech communication. 2001. Vol. 33. № 1. P. 23–60.
2. Ide N. Corpus Encoding Standard: SGML guidelines for encoding linguistic corpora // Proceedings of the First International Language Resources and Evaluation Conference. 1998. P. 463–470.