PT - JOURNAL ARTICLE
AU - Качков Д. И., 
TI - Моделирование языка и двунаправленные представления кодировщиков: обзор ключевых технологий
DP - 2020-11-02
TA - Информатика
4100 - 10.37661/1816-0301-2020-17-4-61-72
SO - https://www.academjournals.by/publication/18326
AB - Представлен очерк развития технологий обработки естественного языка, которые легли в основу BERT (Bidirectional Encoder Representations from Transformers) − языковой модели от компании Google, демонстрирующей высокие результаты на целом классе задач, связанных с пониманием естественного языка. Две ключевые идеи, реализованные в BERT, – это перенос знаний и механизм внимания. Модель предобучена решению нескольких задач на обширном корпусе неразмеченных данных и может применять обнаруженные языковые закономерности для эффективного дообучения под конкретную проблему обработки текста. Использованная  архитектура Transformer основана на внимании, т. е. предполагает оценку взаимосвязей между токенами входных данных. В статье отмечены сильные и слабые стороны BERT и направления дальнейшего усовершенствования модели.