Технологии искусственного интеллекта при формировании архивной среды: проблемы и перспективы

Мащенко Наталья Евгеньевна ORCID: 0000-0003-0126-545X кандидат экономических наук доцент по научной специальности "Документалистика, документоведение и архивоведение"; доцент; кафедра информационных систем управления; Донецкий государственный университет 283015, Россия, Донецкая Народная респ., г. Донецк, ул. Челюскинцев, д. 198А Mashchenko Natalia Evgen'evna PhD in Economics Associate Professor in the scientific specialty 'Documentary, Documentation and Archival Science'; Associate Professor; Department of Information Management Systems; Donetsk State University 198A Chelyuskintsev str., Donetsk People's Republic, 283015, Russia maschenko_n@mail.ru

Гайдарь Елена Валентиновна ORCID: 0009-0008-3353-8831 кандидат экономических наук доцент; кафедра информационных систем управления; Донецкий государственный университет 283015, Россия, Донецкая Народная респ., г. Донецк, ул. Челюскинцев, д. 198А Gaidar Elena Valentinovna PhD in Economics Associate Professor; Department of Information Management Systems; Donetsk State University 198A Chelyuskintsev str., Donetsk People's Republic, 283015, Russia e.gaydar.dongu@mail.ru

Введение. Архивные системы сталкиваются с растущими объемами данных, разнообразием форматов и требованиями к надежности и доступности информации. В этих условиях внедрение искусственного интеллекта становится стратегически важным шагом для создания эффективной архивной среды, способной справляться с вызовами цифровой эпохи.

Архивная среда представляет собой сложную систему, включающую в себя архивные учреждения и архивные подразделения, а также совокупность архивных материалов, которые образуют архивное пространство и обеспечивают сохранение, обработку и использование архивных данных посредством различных методов и технологий под влиянием определенных факторов ^[1].

Основная часть.

Современный этап развития общества характеризуется эпохой цифровых преобразований, оперированием колоссальными объемами информации, доступом к мировым инновационным процессам и значительным развитием способов использования предприятиями различных информационных технологий. В цифровой среде развитие и эффективное ведение деятельности становится невозможным без применения современных информационных систем и технологий ^[2].

Формирование цифровой архивной среды предполагает комплексный процесс перехода архивных учреждений и организаций к цифровым технологиям, направленный на обеспечение сохранности, доступности и удобства использования архивных данных. Это важный этап для архивной сферы, который включает в себя как технические, так и организационные изменения, способствующие улучшению работы с документами в цифровом формате.

Цифровизация архивов начинает активное использование инструментов искусственного интеллекта.

Искусственный интеллект позволяет автоматизировать, оптимизировать и улучшить процессы, связанные с созданием, хранением, поиском и анализом архивных данных. Основные задачи, решаемые с помощью ИИ: ускорение обработки больших объемов данных; обеспечение интеллектуального поиска и управления архивами; повышение безопасности и защита информации; автоматизация процессов классификации и индексации документов ^[3,4].

Эти возможности делают ИИ ключевым инструментом для построения современной архивной среды.

Формирование цифровой архивной среды в ДНР является важной частью стратегии по модернизации государственных и муниципальных институтов, а также обеспечения сохранности, доступности и безопасности архивных данных. Архивы, как хранители исторической, юридической и культурной информации, играют ключевую роль в социально-экономическом развитии региона. В условиях нестабильной политической ситуации и ограниченных ресурсов, переход к цифровым технологиям помогает решать задачи сохранения и упрощения доступа к архивным материалам, повышая эффективность их управления.

Цифровизация архивов в ДНР становится не только способом улучшения архивного дела, но и важной составляющей национальной безопасности и государственной политики по сохранению исторического наследия. В этом контексте создание цифровой архивной среды включает в себя несколько ключевых этапов, от создания цифровых реплик документов до их защиты с помощью современных технологий.

В условиях военных действий на территории Донецкой Народной Республики, как и на других освобожденных территориях, проблема повреждения и утраты архивов и архивных документов остается крайне актуальной. Утрата документов приводит к серьезным трудностям для граждан в процессе обеспечения их гражданских прав и свобод.

Так, в Мариуполе, Авдеевке и ряде других городов, процедура восстановления документов для подтверждения личности связана с длительными и сложными процессами, а восстановление трудового стажа и прав собственности в ряде случаев не представляется возможным. Архивы организаций часто уничтожались в результате пожаров, взрывов вместе с трудовыми книжками, личными делами и другими документами, что лишает граждан возможности подтвердить стаж трудовой деятельности, уровень образования и другие важные аспекты их биографии.

Кроме того, во время эвакуации из населенных пунктов организации оставляли документы и архивы на месте, где они находятся в ненадлежащих условиях, например, в мешках или подвалах, россыпью, требуют дальнейшей сортировки, обработки и передачи в архивы.­­ ­

Архивные учреждения Донецка в связи с отсутствием необходимых средств и другими организационными факторами, еще в период прежнего украинского руководства находились в неудовлетворительном состоянии. Здания архивов находятся в состоянии физического износа: протекают крыши, не соблюдаются условия температурно-влажностного режима и нарушены другие параметры, необходимые для сохранности документов. В результате это привело к повреждению и частичной или полной утрате архивных материалов: документы залиты водой, рассохлись и т.д.

Граждане, в свою очередь, зачастую не знают, куда обращаться для поиска информации, необходимой для восстановления документов. Это приводит к серьезным социальным последствиям: люди вынуждены жить без документов, что ограничивает их доступ к социальным пособиям, жилью и другим правам, усугубляя социальное неблагополучие и провоцируя конфликты.

Эскалация военно-политической ситуации в регионе показывает на высокую вероятность повторения подобных сценариев в будущем. Таким образом, для решения указанных проблем необходимо разработать и внедрить эффективные алгоритмы и инструменты на основе технологий искусственного интеллекта, что позволит существенно ускорить и упростить процессы восстановления архивных данных.

Для предотвращения описанных выше негативных сценариев в будущем необходима масштабная работа по их оцифровке, которая предполагает внедрение современных архивных информационных систем, использование специализированных сканирующих устройств, а также применение инструментов искусственного интеллекта для автоматизации процессов обработки, классификации, поиска, применения аналитики и обеспечения безопасности.

В условиях цифровой трансформации возможность применения решений на основе искусственного интеллекта является одной из основных целей и в качестве приоритетного направления научно-технологического развития Российской Федерации на ближайшие 10–15 лет согласно Указу Президента Российской Федерации от 1 декабря 2016 года № 642 «О Стратегии научно-технологического развития Российской Федерации» ^[5].

Согласно Presidential Actions. Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence, October 30, 2023 «Модель ИИ» означает компонент информационной системы, который реализует технологию ИИ и использует вычислительные, статистические методы или методы машинного обучения для получения результатов из заданного набора входных данных.

Выделим основные инструменты ИИ, которые могут применяться в подобных ситуациях.

1. Одним из наиболее перспективных направлений является интеллектуальное сканирование и распознавание архивных документов. В этом случае ИИ значительно экономит время сотрудников и нивелирует роль так называемого человеческого фактора – снижает количество непредвиденных ошибок на этапе обработки данных ^[6].

Интеллектуальное сканирование – это процесс, при котором документы преобразуются в цифровой формат с использованием технологий анализа и обработки изображений. Распознавание архивных документов включает использование алгоритмов искусственного интеллекта (ИИ) и машинного обучения для извлечения текстовой и структурной информации из цифровых изображений.

Эти технологии объединяют такие инструменты, как:

оптическое распознавание символов (OCR): наибольшее применение получили движки PyLaia, Kraken, Calamari, Tesseract. Исходные коды перечисленных движков и документация к ним размещены на сайте GitHub в открытом доступе ^[7,8];

обработка естественного языка (NLP): анализ текста для выделения ключевой информации (Amazon Textract и Google Cloud Vision): облачные решения для анализа и обработки документов с использованием ИИ; ИИ-модели на базе OpenAI и GPT: используются для обработки и анализа текста, включая выделение смысла и создание аннотаций;

машинное зрение: распознавание форм, печатей и других визуальных элементов.

Технологии интеллектуального распознаванияприобретают особую инновационность в задачах обработки рукописных текстов (HTR), особенно когда речь идет о сложных или нестандартных почерках, характерных для старинных документов, что требует дополнительной обработки и обучения алгоритма для высокой точности. В 2022 г. M. Terras ^[9] представила платформу Transkribus.

Особое внимание необходимо уделить обработке поврежденных материалов, где процесс осложняется наличием пятен, разрывов, выцветшего или обгоревшего текста. Для таких случаев требуются специальные алгоритмы, способные адаптироваться к частичной утрате информации.

Многоязычность (работа с документами, представленными на разных языках, например, на украинском, что актуально для новых территорий) – отдельная проблема для интеллектуального распознавания, предполагает использование адаптированных языковых моделей, лексических и грамматических знаков.

Наконец, большой объем данных в архивах, часто включающий миллионы документов, вызывает необходимость использования высокопроизводительных вычислительных ресурсов для эффективной обработки, хранения и анализа массивов информации.

2. Интеллектуальная классификация архивов – это процесс автоматического разделения архивных материалов на категории с использованием передовых технологий ИИ: машинного обучения (ML), обработки естественного языка (NLP) и компьютерного зрения. Этот процесс отличается от традиционной классификации тем, что ИИ анализирует не только текстовые и визуальные элементы документов, но и их контекст, значение и взаимосвязи. Такой подход значительно улучшает организацию и доступность архивных данных.

Алгоритмы машинного обученияиграют ключевую роль в классификации архивных данных. Модели обучаются на примерах уже отсортированных данных, что позволяет системе научиться автоматически классифицировать новые документы. Для этого применяются следующие подходы:

обучение с учителем: модели обучаются на заранее размеченных данных, где каждый документ уже имеет соответствующую метку (например, «финансовый отчет», «научная статья», «личное письмо»);

обучение без учителя: используется для кластеризации материалов, когда заранее неизвестно, к какой категории относится документ; система автоматически группирует материалы по схожим признакам;

полуобучаемые алгоритмы: подход, когда система сначала работает с размеченными данными, а затем использует малую информацию о новых данных для их классификации.

Например, E. Shang и др. ^[10] представили эффективный метод классификации архивов с использованием XGBoost и Spark computing.

Технологии обработки естественного языка помогают ИИ «понимать» текстовый контент документов и классифицировать их по смыслу, а не только по ключевым словам. Например, ИИ может различать юридические документы, научные статьи и письма на основе их содержания. Основные методы NLP, применяемые для классификации, включают:

тематическое моделирование: разделение документов на категории, связанные с их темой (например, политика, экономика, искусство) ^[11];

анализ тональности: оценка эмоциональной окраски документа для классификации документов по типу (например, официальный, личный, деловой);

выделение ключевых слов и фраз: это помогает создать индексы и теги, которые облегчают поиск и сортировку документов.

В архивах, содержащих визуальные материалы (фотографии, карты, чертежи и т.д.), ИИ применяется для классификации изображений. С помощью компьютерного зрения система способна распознавать объекты на изображениях и классифицировать их по категориям. Например, фотографии могут быть автоматически разделены на группы (например, «портреты», «пейзажи», «события»). Это возможно благодаря использованию алгоритмов глубокого обучения (Deep Learning): нейронные сети (например, сверточные нейронные сети, CNN) могут распознавать объекты и сцены на изображениях, а рекуррентные нейронные сети (RNN) могут работать с последовательными текстовыми данными, такими как документы с большим объемом текста или исторические рукописи.

K. Carter ^[12] использовали двухэтапный алгоритм контролируемого машинного обучения, который использует такие инструменты, как Google AutoML Vision для обработки оглавления страниц. A. Männistö ^[13] представили платформу автоматического извлечения содержимого изображений (AICE).

При интеллектуальной классификации используется также распознавания текста на изображениях: для классификации документов, содержащих текст (например, письма, книги), используется технология OCR, которая помогает извлечь текст из изображений и провести классификацию по его содержанию; в архивах, содержащих аудио- и видеоматериалы, используется распознавание речи для преобразования аудио в текст, а также анализ видеопотока для классификации сцен, объектов или событий, происходящих в видео.

Процесс интеллектуальной классификации архивных материалов включает несколько этапов.

На этапе предобработки данных система очищает и подготавливает архивные данные для анализа. В случае текстовых данных это может быть удаление шума (ненужных символов, пробелов), исправление ошибок и форматирование текста, для изображений – улучшение качества изображения, выравнивание или восстановление поврежденных материалов; для мультимедиа – очистка звука, синхронизация данных.

На этапе извлечения признаков система анализирует содержание документов, извлекая из них значимые признаки для классификации. (для текстов – это извлечение ключевых слов, тем, фраз, адресов, имен и др.; для изображений – это распознавание объектов, фотографий, лиц, текста и т.д., для мультимедиа – извлечение речи и преобразование ее в текст, анализ контекста).

На этапе обучения модели система обучается на примерах, учится распознавать структуру данных, создается интеллектуальная модель классификации архивных материалов на основе алгоритмов машинного обучения. Обучение включает построение классификационных моделей, таких как нейронные сети, деревья решений, кластерные алгоритмы; тестирование модели на новых данных для проверки ее эффективности и точности; постепенное дообучение по мере поступления новых данных.

Классификация и категоризация – после завершения обучения система применяет полученные знания для анализа новых архивных материалов. На основе полученных знаний система классифицирует новые данные по заданным категориям. Это может быть сделано по меткам, таким как «финансовые документы», «исторические записи», «научные статьи» и т.д. Система может интегрироваться с архивными системами, автоматически добавляя категории и помогая сотрудникам быстрее ориентироваться в данных.

Автоматическая индексация – завершающий этап классификации, на котором классифицированным материалам присваиваются метаданные для упрощения поиска и управления. Все классифицированные документы или материалы автоматически индексируются и получают метаданные, что упрощает их дальнейший поиск. Классифицированные и индексированные материалы становятся доступными для поиска с использованием простых запросов или сложных фильтров.

3. Интеллектуальный поиск архивных документов – это процесс извлечения информации из архивных данных с использованием технологий ИИ, NLP, ML и других передовых подходов. Он предполагает не только поиск по ключевым словам, но и более глубокое понимание контекста, тематики, связи между документами и их содержимым. Пользователь может задавать вопросы в свободной форме, а ИИ подбирает релевантные документы с учетом контекста. Такой подход значительно повышает эффективность работы с большими объемами данных и улучшает доступность архивов для пользователей.

ТехнологииNLPпозволяют анализировать и понимать текстовый контент архивных документов. NLP помогает выделять ключевые слова, темы и сущности; анализировать синтаксис и грамматику текста; извлекать смысл и контекст из сложных фраз; применять синонимы и контекстуальные термины для улучшения результатов поиска.

A. Alothman и Abdul Sait ^[14] внедрили алгоритм ранжирования для эффективного поиска документов. M. Modiba ^[15] рассматривает несколько преимуществ эффективного поиска информации с особым акцентом на управление записями.

Алгоритмы ML обучаются на исторических данных и могут улучшать свои результаты со временем, адаптируясь к запросам пользователей.

Например, семантический поиск позволяет учитывать не только точные совпадения слов, но и их значение в контексте. Например, система понимает, что «финансовый отчет» и «бухгалтерский баланс» – это разные фразы, но обе относятся к одному направлению.

Семантические модели включают:

модели на основе векторного представления слов (Word2Vec, GloVe): эти модели представляют слова как векторы, что позволяет выявлять семантические связи между ними;

трансформеры (BERT, GPT): современные модели трансформеров позволяют анализировать текст с учетом контекста, что значительно повышает качество поиска.

В архивах может использоваться метод распознавания сущностей, который применяется для извлечения специализированных терминов, имен, дат и другие важных аспектов, которые могут быть использованы для улучшения поиска. Например, ИИ может распознавать имена авторов, организации, географические объекты и события, что помогает более точно классифицировать документы.

Используя методы идентификации и категоризации по типу документа, ИИ может автоматически распознавать тип документа (например, отчет, письмо, контракт, научная статья) и применять соответствующие фильтры и категории для упрощения поиска.

ИИ-системы также могут извлекать и анализировать метаданные (автор, дата, ключевые слова, тема), что позволяет ускорить поиск и повысить точность результатов.

Архивы часто содержат не только текстовые документы, но и изображения, аудио, видео и другие типы данных. Интеллектуальный поиск может интегрировать данные из разных источников и анализировать мультимедийные материалы:

анализ изображений и видео: с помощью компьютерного зрения можно распознавать текст на изображениях (OCR), а также анализировать содержание изображений и видеоконтента для поиска;

распознавание речи: видеоматериалы и аудиофайлы могут быть обработаны с помощью технологии распознавания речи, что позволяет извлекать текстовую информацию из аудиовизуальных данных.

Y. Yang ^[16] представил усовершенствованную модель преобразования текста в видео, разработанную специально для аудиовизуальных архивов, демонстрирующую развитие управления мультимедийной информацией.

4. Интеллектуальная аналитика и прогнозирование. Использование машинного обучения позволяет выявлять закономерности в архивных данных, прогнозировать потребности пользователей или оптимизировать процессы хранения.

Используя технологии интеллектуального анализа данных, архивные системы могут автоматически проводить анализ структуры и содержания архивов, классифицировать документы, выделять ключевые темы и определять взаимосвязи между различными материалами. Это упрощает доступ к информации и повышает точность поиска.

С помощью алгоритмов машинного обучения архивы могут прогнозировать состояние документов, подверженных риску повреждения, например, из-за несоблюдения условий хранения. Это позволяет своевременно принимать меры для их сохранения.

Системы ИИ способны анализировать запросы пользователей, выявляя наиболее востребованные документы или темы. Эти данные используются для оптимизации работы архивов, например, для приоритетности оцифровки определенных материалов.

Системы ИИ могут вести мониторинг и управление архивными фондами. На основе данных об условиях хранения, таких как температура, влажность или уровень освещенности, интеллектуальные системы могут предлагать рекомендации по улучшению условий и предотвращению разрушения документов.

Используя исторические данные, архивы могут прогнозировать тенденции в запросах пользователей, то есть какие темы или материалы станут востребованными в будущем, например, в связи с социальными или политическими событиями.

Аналитические системы на базе ИИ могут предлагать решения по оптимальному распределению ресурсов, таких как оцифровка, реставрация или организация новых выставок.

ИИ способен обеспечивать безопасность данных, выявлять подозрительные действия (например, несанкционированный доступ) и предотвращать утечку данных. Он также может обеспечивать автоматическое шифрование и резервное копирование.

5. Основные направления применения искусственного интеллекта для обеспечения безопасности данных в архивах:

Системы на базе ИИ способны анализировать огромные объемы данных в режиме реального времени, выявляя потенциальные угрозы, такие как попытки несанкционированного доступа, аномальные действия пользователей или вредоносное программное обеспечение.

ИИ может оптимизировать и адаптировать методы шифрования, обеспечивая защиту данных как при их хранении, так и при передаче. Технологии машинного обучения позволяют создавать динамически изменяющиеся шифровальные алгоритмы, затрудняющие их взлом.

Искусственный интеллект способен анализировать поведение пользователей и создавать индивидуальные модели доступа. Например, при обнаружении подозрительных действий система автоматически ограничивает или блокирует доступ.

Алгоритмы ИИ используются также для прогнозирования и предотвращения кибератак, включая фишинг, SQL-инъекции и DDoS-атаки. Системы машинного обучения анализируют предыдущие инциденты, выявляют слабые места и предлагают меры для их устранения.

ИИ способен отслеживать перемещение данных внутри архивных систем, выявляя несанкционированные копии, передачи или модификации документов.

Системы на базе ИИ могут автоматически анализировать журналы событий и аудита, выявляя подозрительные действия и обеспечивая прозрачность всех операций.

Синергия блокчейн-технологий и ИИ позволяет фиксировать все изменения в архивных данных и предотвращать их фальсификацию. Кроме того, ИИ способствует оптимизации процедур верификации, что упрощает управление цифровыми записями.

Заключение. Искусственный интеллект открывает новые горизонты для архивной среды, обеспечивая скорость, удобство и безопасность работы с информацией. Его внедрение позволяет не только улучшить текущие процессы, но и адаптироваться к вызовам будущего, создавая более интеллектуальные и эффективные архивные системы. Архивы, интегрирующие ИИ, становятся не просто хранилищами данных, но динамичными центрами знаний, готовыми к использованию в любой момент.

Интеллектуальное сканирование и распознавание архивных документов – это не просто тренд, а необходимость в условиях цифровой трансформации. Эти технологии открывают новые возможности для автоматизации и упрощения работы с архивами, обеспечивая сохранность, доступность и удобство использования данных. Инвестирование в развитие и внедрение таких решений станет ключевым фактором успеха для архивных учреждений в XXI веке.