计算机文本分析算法发展综述
电子技术应用 2023年3期
孙静含1，任静2
（1.北京工业大学，北京 100124；2.中国电子信息产业集团第六研究所，北京 100083）
摘要： 计算机文本分析是自然语言处理领域的一个重要分支，是研究如何在文本数据中提取出给定语料的各类信息的计算机技术。目前，计算机文本分析已经进入了新的历史阶段，一方面关键词提取算法已经逐渐完备，另一方面随着BERT方法的出现，词向量计算问题也取得了极大的进步。但是，无论是关键词提取还是词向量计算都仍存在一些有待解决的问题。另外，现有的许多适合使用文本分析的研究仍在使用早期的文本分析方法。因此在未来，如何更好地降低模型尺寸以促进学科融合、提升文本分析的综合社会效益，成为文本分析算法发展的重要问题。
中圖分類號：TP181 文獻標志碼：A DOI: 10.16157/j.issn.0258-7998.223117
中文引用格式： 孫靜含，任靜. 計算機文本分析算法發展綜述[J]. 電子技術應用，2023，49(3)：42-47.
英文引用格式： Sun Jinghan，Ren Jing. A survey of the development of computer text analysis algorithms[J]. Application of Electronic Technique，2023，49(3)：42-47.
中文引用格式： 孫靜含，任靜. 計算機文本分析算法發展綜述[J]. 電子技術應用，2023，49(3)：42-47.
英文引用格式： Sun Jinghan，Ren Jing. A survey of the development of computer text analysis algorithms[J]. Application of Electronic Technique，2023，49(3)：42-47.
A survey of the development of computer text analysis algorithms
Sun Jinghan1，Ren Jing2
(1.Beijing University of Technology，Beijing100124， China； 2.The Sixth Research Institute of China Electronics Corporation， Beijing 100083， China)
Abstract： Abstract： Computer text analysis is an important branch in the field of natural language processing, and it is a computer technology that studies how to extract various types of information from a given corpus from text data. At present, computer text analysis has entered a new historical stage. On the one hand, the keyword extraction algorithm has gradually been completed. On the other hand, with the emergence of the BERT method, the word vector calculation problem has also made great progress. However, there are still some problems to be solved in both keyword extraction and word vector calculation. In addition, many existing studies suitable for using text analysis still use ancient text analysis methods. Therefore, in the future, how to better reduce the model size to promote the integration of disciplines and improve the comprehensive social benefits of text analysis will become an important issue in the development of text analysis algorithms.
Key words : text analysis；natural language processing；algorithm
0 引言
計算機文本分析是自然語言處理（Natural Language Processing, NLP）領域的一個重要分支，是指對文本數據或語料庫內的語料進行分析，最終提取出給定語料的各種信息，包括關鍵詞、詞向量等內容的計算機技術，在一些文獻中也將這一領域的相關技術納入自然語言處理預訓練技術之中。文本分析最早起源于20世紀50~60年代，這一階段的研究重點是如何對語言規則進行設定。到20世紀70年代，隨著語料庫的豐富和硬件設備的進步，文本分析技術開始融合機器學習算法，并得到了快速發展。進入21世紀之后，深度學習方法被運用到文本分析之中，誕生了諸如Word2Vec、BERT等技術，進一步提高了文本分析的應用場景。在可以預見的未來，傳統的基于數字數據的分析方法將逐漸無法滿足越發龐雜的應用需求，文本分析和其所屬的自然語言處理領域將會是一個愈發重要的發展方向。
本文詳細內容請下載：http://www.tom3567.com/resource/share/2000005227
作者信息：
孫靜含1，任靜2
（1.北京工業大學，北京 100124；2.中國電子信息產業集團第六研究所，北京 100083）
此內容為AET網站原創，未經授權禁止轉載。