Целью исследования является получение более легковесной языковой модели, которая сравнима по показателям EM и F-меры с лучшими современными языковыми моделям в задаче нахождения ответа на вопрос в тексте на русском языке. Результаты работы могут найти применение в различных вопросно-ответных системах, для которых важно время отклика. Поскольку более легковесная модель имеет меньшее количество параметров чем оригинальная, она может быть использована на менее мощных вычислительных устройствах, в том числе и на мобильных устройствах. В настоящей работе используются методы обработки естественного языка, машинного обучения, теории искусственных нейронных сетей. Нейронная сеть настроена и обучена с использованием библиотек машинного обучения Torch и Hugging face. В работе было проведено обучение модели DistilBERT на наборе данных SberQUAD с применением дистилляции и без. Произведено сравнение работы полученных моделей.Обученная в ходе дистилляции модель DistilBERT (EM 58,57 и F-мера 78,42) смогла опередить результаты более крупной генеративной сети ruGPT-3-medium (EM 57,60 и F-мера 77,73) притом, что ruGPT-3-medium имеет в 6,5 раз больше параметров. Также модель продемонстрировала лучшие показатели EM и F-мера, чем та же модель, но к которой применялось только обычное дообучение без дистилляции (EM 55,65, F-мера 76,51). К сожалению, полученная модель сильнее отстаёт от более крупной дискриминационной модели ruBERT (EM 66,83, F-мера 84,95), которая имеет в 3,2 раза больше параметров. Предложены направления для дальнейшего исследования.
В статье проведен сравнительный анализ существующих в настоящее время на рынке гидроакустических модемов. Приведены теоретические расчеты дальности действия разработанного гидроакустического модема. Представлены результаты экспериментальной проверки макета гидроакустического модема в бассейне.
В работе представлена ситуационная концептуальная модель, предназначенная для исследования динамических пространственных объектов, в частности, промышленно-природных комплексов (ППК), которая обеспечивает автоматизацию всех этапов вычислительного эксперимента с возможностью равноправной обработки информации от расчетных модулей, имитирующих составные части ППК, и интегрированных с ней ГИС и экспертной системы. Особенности предложенного подхода состоят в широком применении экспертных знаний, поддержке современных сценарных подходов к моделированию, использовании ГИС-технологии не только для графического представления составных частей объекта и результатов моделирования, но также для постановки задачи и выполнения пространственно-зависимых расчетов.
В данной статье рассматривается вопрос о наиболее удобном и эффективном представлении данных, полученных экспериментальным путём, для хранения их в базах данных. Также приводится обзор широко применяемых методов организации данных с целью выбрать из них наиболее подходящий для рассматриваемой задачи. При этом рассматривается вопрос о целесообразности хранения экспериментальных данных в базах данных.
Для распознавания слитной речи со сверхбольшим словарем распознавателю необходима модель языка, описывающая допустимые фразы. В статье представлены результаты экспериментов по распознаванию слитной речи со сверхбольшим (более 100 тыс. слов) словарем с применением n-граммных моделей языка. Проведено количественное сравнение точности распознавания слов, символов и фонем в зависимости от используемой n-граммной модели при изменении n от 0 до 3.
В работе даётся обзор существующих систем query-by-humming (поиска музыкальных композиций по напетому пользователем фрагменту), использующих извлечение признаков. Кроме того, даётся полное описание наиболее популярных методов извлечения признаков (CENS и MFCC), а также предлагается схема системы для проведения экспериментов, направленных на сравнение разных наборов признаков, методов построения словаря, индексации и поиска.
Исследуется модель сигнала, в которой информация подразделяется на фиксированную информацию изображения и переменную информацию модифицируемого сообщения. Объем содержащегося в изображении сообщения определяет количество произвольной информации, которую можно передать в составе изображения. Для сравнения с классической оценкой количества информации устанавливается зависимость объема сообщения от коэффициента сжатия изображения без потерь. На примере сжатия с потерями демонстрируется повышение устойчивости изображения к искажениям за счет восстановления исходного сообщения. Обсуждаются возможные приложения.
1 - 7 из 7 результатов