RT - article
SR - Electronic
T1 - Моделирование языка и двунаправленные представления кодировщиков: обзор ключевых технологий
JF - Информатика
SP - 2020-11-02
DO - 10.37661/1816-0301-2020-17-4-61-72
A1 - Качков Д. И., 
YR - 2020
UL - https://www.academjournals.by/publication/18326
AB - Представлен очерк развития технологий обработки естественного языка, которые легли в основу BERT (Bidirectional Encoder Representations from Transformers) − языковой модели от компании Google, демонстрирующей высокие результаты на целом классе задач, связанных с пониманием естественного языка. Две ключевые идеи, реализованные в BERT, – это перенос знаний и механизм внимания. Модель предобучена решению нескольких задач на обширном корпусе неразмеченных данных и может применять обнаруженные языковые закономерности для эффективного дообучения под конкретную проблему обработки текста. Использованная  архитектура Transformer основана на внимании, т. е. предполагает оценку взаимосвязей между токенами входных данных. В статье отмечены сильные и слабые стороны BERT и направления дальнейшего усовершенствования модели.