@article{Качков Д. И.2020-11-02,
author = { Качков Д. И.},
title = {Моделирование языка и двунаправленные представления кодировщиков: обзор ключевых технологий},
year = {2020},
doi = {10.37661/1816-0301-2020-17-4-61-72},
publisher = {NP «NEICON»},
abstract = {Представлен очерк развития технологий обработки естественного языка, которые легли в основу BERT (Bidirectional Encoder Representations from Transformers) − языковой модели от компании Google, демонстрирующей высокие результаты на целом классе задач, связанных с пониманием естественного языка. Две ключевые идеи, реализованные в BERT, – это перенос знаний и механизм внимания. Модель предобучена решению нескольких задач на обширном корпусе неразмеченных данных и может применять обнаруженные языковые закономерности для эффективного дообучения под конкретную проблему обработки текста. Использованная  архитектура Transformer основана на внимании, т. е. предполагает оценку взаимосвязей между токенами входных данных. В статье отмечены сильные и слабые стороны BERT и направления дальнейшего усовершенствования модели. },
URL = {https://www.academjournals.by/publication/18326},
eprint = {https://www.academjournals.by/files/18279},
journal = {Информатика},
}