自然语言处理（NLP）是指以语言为研究对象，通过规则，统计或是深度学习的方法对其进行处理分析的任务。而命名实体识别（NER）是NLP任务中的一个重点问题，其识别结果直接关系到这些任务的效果。

目前的NER任务主要是识别出句子的地名，人名和组织机构名，而中文NER任务因分词界限不明确而有更大的难度。基于规则的方法受限于专家规则制定而耗费巨大，基于统计的数学方法会受到假设条件的限制而忽视上下文之间的联系，传统神经网络模型难以处理词语的多义性表达，反向求导链的梯度消失和爆炸以及神经元无序等问题，均未能很好的处理中文NER问题。本文采取了有序神经元网络模型和词向量预处理的方法用以解决以上NER任务中的问题。

传统神经网络训练过程中存在词向量表征单一的问题，同时会忽视上下文信息关联。针对这一问题采用BERT模型对词向量进行预处理，将下游任务转移至词向量处理阶段，结合序列信息，位置信息，句子关系信息，丰富词向量语义信息，并将词向量序列输入下层模型进行训练。

针对神经元无序问题，本文采用ICLR 2019的最佳论文所提出的ON-LSTM与条件随机向量场（CRF）相结合的模型，将上游BERT预处理后的词向量序列进行处理，在长短期神经网络（LSTM）的基础上通过对语句层级信息和语法结构的无监督学习，其输出用CRF层进行标签依赖关系处理，最终得到句子的实体预测结果。进过实验验证，基于BERT-ON-LSTM-CRF的中文命名实体识别模型能够在中文NER任务中取得较好的成效。

missions downstream to word pretraining. It will combine sequence information, position information and sentence relation information together and enrich word vector semantic information.

Facing the disorder of neurons problems, this paper uses the model combining ON-LSTM (proposed in the best paper of ICLR in 2019) and CRF. It deals with the word vector pretrained in BERT model upstream, by unsupervised learning to sentence information and grammar structure based on ON-LSTM, the output of which is dealed with in CRF layer to study relationship dependency between tokens and finally we get the results of NER missions. It is validated with test that Chinese NER mission based on BERT-ON-LSTM-CRF gets a perfect result.