mask

如何绕过BERT的MASK策略，改用XLNET实现？

本文共计2620个文字，预计阅读时间需要11分钟。基于预训练的token MASK是BERT实现双向上下文信息编码的核心。然而，MASK策略本身存在一些问题：MASK仅在预训练任务中存在，微调中不存在；BERT则是通过替换部分随机token