и записей на естественном языке.
С момента появления самых первых компьютерных систем для работы с текстами все электронные документы содержали те или иные символы для управления печатью (CR, LF и др.). Однако их возможности оставались весьма ограниченными, методы разметки были привязаны к определенным принтерам, а с появлением новых устройств с более широкими возможностями (такими, скажем, как принтер с шаровой головкой) потребовались новые средства управления печатью. Чтобы преодолеть этого ограничение исследовательская группа корпорации IBM, возглавляемая Чарльзом Гольдфарбом, разработала язык разметки GML, «отвязавший» текст от формата печати.
Последующие исследования Гольдфарб вел самостоятельно; в конечном итоге они привели его к созданию языка Standard Generalized Markup Language (SGML). В период с 1978-го по 1985 год язык проходил сложный процесс стандартизации. В конечном итоге он был принят и American National Standards Institute (ANSI), и европейским агентством Computer Office of Official Publications. На следующем этапе SGML попал в европейский центр исследований физики элементарных частиц (CERN). Здесь первое средство для использования SGML разработал Андерс Берглунд (Anders Berglund). В CERN была разработана и технология CERNDOC на основе SGML, которая в последующем оказалась столь успешной, что была принята американской ассоциацией издателей American Association of Publishers. Одним из активных пользователей этой технологии был Тим Бернерс-Ли (1955), создавший совместно с Робертом Кайо (Robert Cailliau, 1947) Всемирную паутину WWW, поэтому нет ничего удивительного в том, что при разработке HTML он использовал свой опыт работы с SGML.
И все же SGML оказался весьма сложен, поэтому широкого распространения не получил, зато стал прототипом для двух широко известных языков. Первый – XML (eXtensible Markup Language), служащий для кодирования документов в World Wide Web, второй – Hypertext Markup Language (HTML), используемый для кодирования документов, воспроизводимых браузерами.
К разметке близок гипертекст, этот термин был предложен в 1965 году Тедом Нельсоном (Ted» Nelson, 1937 года) который определил его следующим образом: «Массив текстов или графики, объединенных сложными связями, которые с достаточной полнотой не могут быть представлены в бумажной форме. Связи могут включать карты контента, ссылки, аннотации, комментарии и другие инструменты для указания». В истории гипертекста сложилась вполне устоявшаяся хронология событий. Точкой отсчета обычно называют Ванневара Буша и его гипотетическую машину Memex (Memory Extender), далее переходят к Дагу Энгельбарту, затем к Теду Нельсону и, наконец, к Тиму Бернерсу-Ли, работашему совместно с Робертом Калио.
Несмотря на то что гипертекст с его ссылками может быть полноценно реализован только в электронной форме, предпосылки к его возникновению обнаруживаются задолго до появления компьютеров. Первым к идее гипертекста подошел Ванневар Буш, в своей эпохальной статье As We May Think, опубликованной в Atlantic Monthly. Он описал гипотетическую машину memex для работы с текстовыми источниками информации. Он писал: «Появятся новые типы энциклопедий, где фрагменты будут объединены ассоциативными связями, которые могут обрабатываться средствами memex». Задуманная Бушем машина должна была хранить книги и другие документы, обеспечивать доступ к ним и таким образом расширять творческие возможности человека.
Надо заметить, что и у Буша был предшественник, это немецкий инженер еврейского происхождения Эмануэль Гольдберг (Emanuel Goldberg, 1881–1970), создатель действующей (!) «Статистической машины». Она стала первым устройством для работы с размеченными данными, перенесенными на микрофильмы. Машина Гольдберга стала первым инструментом, позволяющим автоматизировать поиск в больших массивах данных с использованием разметки. Гольдберг родился в 1881 году в Москве в семье полковника медицинской службы российской армии (к слову, должность весьма необычная для человека со столь очевидными этническими корнями), а умер в 1970-м в Израиле.
Статья Буша послужила стимулом для Дага Энгельбарта на исследования в области систем, расширяющих интеллектуальные возможности человека. Эти работы в конечном итоге привели к созданию лаборатории Augmentation Research Center, где была построена уникальная для своего времени система NLS (oNLine System). Как ни странно, но попутно созданная компьютерная мышь оказалась самым знаменитым отпрыском этого проекта.
Data Labeling
Для CV и NLP нужны размеченные данные, в связи с этим появилась новая технологи data labeling (нанесение этикеток на данные, аннотация). На данный момент никаких средств для автоматизации этого процесса нет и в обозримом будущем не будет, поэтому эту нудную работу (handmaid data labeling) будут вручную выполнять низкоквалифицированные работники. Их можно назвать «синими воротничками» индустрии AI. Рабочие должны выполнять вручную огромный объем работы, например, аннотация одного человеческого образа требует указания от 15 до 40 точек и делается это все обычными средствами человеко-машинного интерфейса. Для разметки изображений сейчас есть и свободно распространяемые технологии (Sloth, Visual Object Tagging) и коммерческие (Diffgram Supervisely), и другие. Список средств для разметки документов, используемых при обработке текстов на естественных языках NLP, существенно длиннее.
Очевидный шанс стать супермонополистом в области data labeling есть у Китая, эта страна располагает необходимым количеством высококвалифицированных специалистов, здесь выработаны государственные программы по развитию AI, но в то же время наличествует неограниченное количество желающих на роль исполнителей низкого уровня. Они работают надомно или в стесненных условиях на так называемых «фабриках разметки» (tagging factories), получая чрезвычайно низкую заработную плату.
Типичным примером фабрики разметки служит компания Mada Code, насчитывающая более 10 000 (!) надомников, выполняющих разметку данных для задач оптического распознавания и обработки текста на естественном языке. Среди ее клиентов крупные компании и университеты. Руководитель Mada Code сказал: «Мы строительные рабочие цифрового мира, мы кладем кирпич на кирпич, но играем заметную роль в ИИ. Без нас невозможно построить небоскребы».
Необходимость ручной разметки позволяет оценить уровень зрелости нынешних работ в области AI тем, что напоминает закон, принятый в Англии на заре автомобилизма, который требовал, чтобы перед автомобилем шел человек, предупреждавший о его появлении.
Глава 9 Два основных направления в AI – компьютерное зрение и средства для работы с текстом на естественном языке
В начале третьего десятилетия XXI века, на седьмом десятке лет истории AI стало очевидно, что ни Общий AI (General AI), ни Сильный (Strong AI), а лишь только Слабый AI (Narrow AI) имеет шансы для развития, причем внутри Слабого AI наибольший перспективы у тех его направлений, которые усиливают возможности человека (Augmented AI, AuI). Из AuI-решений особое внимание привлекают к себе два: Компьютерное зрение (Computer Vision, CV) и Работа с текстами на естественном языке (Natural Language Processing, NLP). Оба они служат для создания технологий, способствующих повышению способностей человека к восприятию информации, заключенной в больших объемах фото/видео и текстовых данных. Эти технологии поддерживают автоматизацию преобразования данных в информацию на уровне интерфейса между уровнями данных