3 个月前

基于多注意力机制的泰语字符级分词

基于多注意力机制的泰语字符级分词

摘要

基于字符的分词模型在黏着语中得到了广泛应用,包括泰语,因其表现出色。这类模型通过分析字符序列来推断词边界。然而,与词、子词及字符簇等单元相比,字符序列中的单一字符本身并不具备实质语义。为此,本文提出一种新型泰语分词模型,该模型从字符序列中提取多种类型的信息,包括词、子词和字符簇等。通过引入多头注意力机制,模型能够有效捕捉字符与各类单元之间的关键关联,从而优化分词推理过程。实验结果表明,所提出的模型在性能上优于现有的各类先进泰语分词方法。

基准测试

基准方法指标
thai-word-tokenization-on-best-2010Multiple Attentions (char-word-cc)
F1-Score: 0.9899

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于多注意力机制的泰语字符级分词 | 论文 | HyperAI超神经