上市公司-数字化转型指数 Word2Vec+TF-IDF法

数据名称：企业数字化转型指数（ Word2Vec + TF-IDF 法）
时间区间：2001–2024 年
样本范围：A 股上市公司（沪深京），仅年报（ 12-31 ），共 65,680 条企业 — 年度观测
原始数据：CNRDS 数据库「管理层讨论与分析」（ MD&A ）文本，约 4.4 GB
核心变量：DT_score （总指数）、五个分维度得分、 DT_score_ 缩尾 1%
计算工具：Python 3.13 （ jieba 0.42 分词 / gensim 4.4 训练 Word2Vec ）

一、计算方法（五步流程）
步骤 1：语料预处理：取各年年报 MD&A 文本，HTML 实体还原、去残留标签、去空白；合并 5 份常用停用词表（共 2,317 词）；jieba 分词并加载特征词库，过滤单字、纯数字与停用词。全语料约 3.47 亿词。
步骤 2：Word2Vec 训练：全量语料训练 Skip-gram 词向量（vector_size=300，window=5，min_count=5，epochs=5），词表规模 328,801 词。
步骤 3：语义扩词：29 个种子词（五维度各若干，按杨仁发 2025 框架选取）取平均词向量作为维度质心，计算全词表与质心的余弦相似度，≥0.60 预筛选得 2,338 个候选词；同时与杨仁发 127 词词典交叉验证标记。
步骤 4：三角色投票筛选：按三种独立视角（技术审、业务审、语言审）分别投票，≥2 票保留，305 词通过。说明：同类产品描述使用 GLM-4 大模型执行该环节，本次以规则化三视角独立投票等价替代，未调用 GLM-4 API。
步骤 5：人工复核：逐词复核，剔除公司/产品专名、分词碎片与过泛词，得到最终词典 160 词（杨仁发 127 词全量保留 + 复核新增 33 词）。

（一）计分公式
DT = Σw [ TFw × ln( Nt / nw,t + 1 ) ] / D × 100
TFw：关键词 w 在该企业当年年报 MD&A 清洗文本中的出现次数（子串计数）
Nt：第 t 年年报 MD&A 文档总数；nw,t：第 t 年包含关键词 w 的文档数（IDF 按年度计算）
D：该文本分词并去停用词后的词汇总数（控制年报篇幅差异）

二、参考文献与方法归属
Word2Vec  词典构建技术路线、 TF-IDF  标准化公式：苏治、李颖、程稚渊《人工智能如何重塑要素收入分配格局？ —— 基于企业劳动力市场垄断势力的微观证据》，《经济研究》
五维度划分框架、种子词汇与交叉验证词典：杨仁发、杨梅君《数字化转型的持续性创新效应研究》，《数量经济技术经济研究》

计算声明：本指数是将苏治等（2025）面向人工智能的方法迁移至企业数字化转型场景的原创复算结果，核心参考文献并非直接计算企业数字化转型指数；与任何已发表或售卖数据均存在因分词器版本、模型随机性带来的数值差异，分布特征与趋势已验证处于合理区间。

（一）校验结果（三重）
① 分布校验：同语料复算杨仁发原公式指数（2012–2021，未筛样本 33,422 观测）mean=12.60、std=18.76，与论文附表筛选后样本（mean=17.11、std=19.98）同量级；② 公式一致性：两套公式在同词频底稿上 Spearman=0.966、Pearson=0.836；③ 趋势校验：分年度均值自 2010 年起持续上升、2018 年后高位平台，与既有文献一致。

三、词典说明（160 词，五维度）
词典来源两类：杨仁发 127 词（直接沿用论文附录词典）与 Word2Vec 扩词 + 人工复核新增 33 词（逐词来源标注见附属文件《最终词典160词.csv》）。各维度构成如下：
1. 人工智能技术（29 词）：人工智能、图像理解、智能数据分析、智能机器人、机器学习、深度学习、语义搜索、生物识别技术、人脸识别、语音识别、身份验证、自动驾驶、自然语言处理、算法、智能算法、神经网络、人工神经网络、模式识别、声纹识别、字符识别、信息检索、文本检索、全文检索、数据检索、自动检索、异构计算、硬件加速、数字图像处理、推理模型
2. 信息处理技术（46 词）：数字技术、数字智能、数字终端、数字控制、信息技术、信息共享、信息管理、信息集成、信息终端、大数据、数据管理、数据挖掘、数据网络、数据平台、数据中心、数据科学、文本挖掘、数据可视化、异构数据、征信、增强现实、混合现实、虚拟现实、云计算、流计算、图计算、内存计算、多方安全计算、类脑计算、绿色计算、认知计算、区块链、分布式计算、融合架构、亿级并发、EB级存储、信息物理系统、数据分析、数据仓库、数据共享、数据交换、数据处理、数据安全、数据模型、数据服务、算力
3. 通信服务技术（20 词）：数字通信、物联网、云平台、平台服务、互联网平台、数字平台、Internet、互联网+、线上线下、线上到线下、线上和线下、O2O、B2B、C2C、B2C、C2B、虚拟社区、云端、软件平台、开放平台
4. 人工智能应用（40 词）：智能控制、智能终端、智能管理、智能工厂、智能物流、智能制造、智能仓储、智能技术、智能设备、智能生产、智慧农业、智能交通、智能医疗、智能穿戴、智能客服、智能家居、智能文旅、智能环保、智能电网、智能营销、商业智能、移动智能、自动控制、自动监测、自动监控、自动检测、自动生产、数控、集成控制、集成解决方案、智能故障诊断、生命周期管理、生产制造执行系统、高端智能、工业智能、集成系统、未来工厂、智能化、自动化、云智造
5. 互联网商业应用（25 词）：互联网商业模式、互联网模式、互联网生态、互联网业务、互联网战略、数字营销、无人零售、数据资产运营、共享服务、新零售、电商、电子商务、互联网营销、互联网金融、数字金融、金融科技、Fintech、量化金融、开放银行、数字货币、移动支付、第三方支付、NFC支付、云闪付、互联网服务

四、指标说明
DT_score：企业数字化转型总指数（按第二节公式计算）
DT_ 人工智能技术：人工智能技术维度得分（ 29 词贡献）
DT_ 信息处理技术：信息处理技术维度得分（ 46 词贡献）
DT_ 通信服务技术：通信服务技术维度得分（ 20 词贡献）
DT_ 人工智能应用：人工智能应用维度得分（ 40 词贡献）
DT_ 互联网商业应用：互联网商业应用维度得分（ 25 词贡献）
命中关键词数：该年报 MD&A 中出现的词典词个数（去重）
词数 D：该 MD&A 分词去停用词后的词汇总数（归一化分母）
DT_score_ 缩尾 1% 总分按上下 1% 缩尾后的值，可直接用于回归

指标间关系：DT_score = 五个分维度得分之和；五个分维度得分 = 各自维度内关键词的 TF-IDF 加权得分之和；「命中关键词数」与「词数 D」为过程变量，用于核查计算与自行复算；缩尾列与原始列仅差 1% 分位截断处理。