“过马路时，你要留意看车！”

“自身针未往来车展看车。”

这两句话里的“看车”是一个酷好吗？笃信不少东谈主要会心一笑，名义上看是统一个词组，但其含义因语境不同发生了变化。

这即是中文里常见的“一词多义”征象。东谈主工智能大模子是一种与东谈主类说话密切联系的期间，要让大模子深化汇聚这一征象，离不开中文数据的连续供给。

现在，国内多数模子检会使用的数据，中文数据占比照旧特出60%，有的模子达到80%。大模子检会中，中文数据占比素质有何道理？中文高质地数据为何连续增多？如何进一步增多中文数据的开拓与供给？记者进行了采访。

数据就像大模子的“学问讲义”

不同说话的数据对大模子性能有如何的影响？“数据就像大模子的‘学问讲义’，讲义的说话属性不同，会对模子的学问体系产生不同影响。”清华大学揣测社会科学与国度处分实验室施行主任、磨真金不怕火孟庆国暗意。

从学问起头看，曩昔我国大模子常面对“数据依赖”风险——英文数据在人人互联网的占比拟高，如前沿科技论文、行业模范、文化文籍等多以英文呈现，人人高质地标注数据也多以英文为主。

“说话类大模子一般需要罢职一定的说话民俗。”工业和信息化部信息通讯经济众人委员会委员盘和林合计，中文数据占比提高，既便捷了用户汇聚其输出收尾，又不错保险和素质我国在大模子上的研发智商。

“若中文数据占比低，模子在重要期间迭代中易受‘数据授权抵制’‘更新蔓延’等影响。”孟庆国说，中文数据占比提高，助力我国在“数据安全”“期间自主”上迈出重要措施，有益于我国掌执大模子发展主动权。

“中文数据中专有的文化民俗、隐喻抒发、战略术语等在英文数据中难以获得体现。模子长久学习英文数据，所酿成的‘英文式通晓逻辑’，在汇聚中文特有的念念维步地时容易出现偏差。”科大讯飞消费者AI交互业务部总司理赵艳军先容，中文数据比重的素质，增强了大模子对中中文化及中国场景的汇聚智商。比如中医问诊时，“上火”“潮湿”等见解需要中文语境智力准确推理。

从学问传承看，中文数据承载着我国数千年的文化积蓄，中文数据占比提高，能让大模子推动中中文化的数字化传播。“中文数据占比高的模子能素质‘文言文虚词用法’‘诗词平仄轨则’等。比如，在确认注解‘之乎者也’时，趋奉《论语》《孟子》等中文文籍案例，让传统文化素质新纯真。”孟庆国说。

中文高质地数据供给智商约束增强

中文平时数据和中文高质地数据有何区别？平时数据多为未经审核的汇集文本、非专科试验，易出现事实伪善或见解混浊。而高质地数据需经过“事实核查、专科审核”，语义准确且起头可追思。

要汇聚中文高质地数据的热切性，可从医疗会诊这一专考场景讲起。本年8月，中文临床医学学问图谱“磐医学问图谱”在浙江台州发布。“刻下，一些大模子学习的医学学问，起头于互联网公开数据，而这些公开数据，有的不严谨、有的存在矛盾、有的更新滞后，这些情况齐会对大模子生成的收尾产生负面影响。”浙江省全省医疗智能有筹办重心实验室主任林辉暗意，“磐医学问图谱”中的数据均由医学众人审核，每个学问点齐有明确起头，且动态更新医学进展。

大模子性能的素质，体现了中文高质地数据的价值。收获于一系列身分的协力助推，中文高质地数据的供给智商约束增强——

战略有解救。从《“数据要素×”三年举止主张（2024—2026年）》提倡“打造高质地东谈主工智能大模子检会数据集”，到国度数据局布局缔造数据标注基地，战略利好下，无数中文高质地数据集加速缔造。

期间有打破。中文数据因“歧义多、语境依赖强”，早期标注资本是英文数据的1.8—2.5倍，跟着期间约束越过，开拓难度也在镌汰。举例，国内某“中文语义标注系统”已可自动区别“打毛衣”“打电话”中“打”的含义，让标注成果素质了3倍，且资本灵验镌汰。

行业有共鸣。国内垂直场景对“中文适配”大模子的需求约束升温，推动中文数据从“扶植补充”变为“中枢资源”，更多企业参与到中文数据的开拓之中。如中国移动已建成隐敝超30个行业、超3500TB（太字节）的通用高质地数据集。

协同建模范，细分多场景

Token（经常所说的“词元”）是处理文本的最少量据单位。数据裸露，2024年头，我国日均Token的破钞量为1000亿，抵制本年9月底，我国日均Token破钞量已打破40万亿。这些数字背后，是中文数据资源的快速积蓄和价值开释。

如何进一步增强中文数据的开拓和供给？众人学者带来了念念考和建议。

最初是建模范。现存的中文数据中，叠加的试验多、质地高的少，尤其是在医疗、工业等垂直畛域，高质地数据更是稀缺。比如医疗数据，有的病院纪录病历只写“发热”，有的会写“发热38.5摄氏度、伴咳嗽2天”，若无模范的“尺子”判断数据质地，进一步的开拓难以股东。

“明确了不同畛域的中文标注模范后，才更有益于缔造和完善评价、引发机制。”孟庆国合计，应加速谈论制定中文数据分级模范，从而开释中文数据的供给活力。

其次是强期间。高质地数据集的缔造过程中仍不行幸免会碰到无数数据孤岛和合规贫困，比如，不同机构的数据因为隐讳安全等合规要求，难以跨域指点，导致各机构叠加开展数据标注，既浪掷资源，又无法酿成畛域效应。

“可扩充运用新一代标注期间，在原始数据不出域且保证隐讳安全的条目下，完成跨机构协同标注，从而整合多机构力量，幸免叠加工作。”赵艳军说。

此外要补场景。我国产业体系完备，其广度和深度决定了需要更多细分场景的中文数据。“比如，在元天地等新兴场景中，中文数据使用量仅为英文的1/5；又如，中医、非遗等传统场景数字化进程低，无数难得信息尚未诊疗为可用数据资源。”孟庆国暗意，可推动政产学研用协同，专项汇集各式垂直场景中文数据，激活产业运用。

股东文化和科技交融

“十五五”筹办建议提倡，“股东文化和科技交融”。探索文化和科技交融的灵验机制，需要用互联网念念维和信息期间雠校文化创作坐褥历程，推动文化缔造数智化赋能、信息化转型。

“文化IP+科技体验”，重塑文旅产业生态。通过线上数字平台与线下千里浸场景的趋奉，多地打造数字文旅空间、开拓“旅游+智能体”新运用等，已毕文化和科技双向赋能。“文化创作+东谈主工智能”，拓展产业交融场景。刻下，以大模子为代表的AI期间，与影视、文博等畛域深度交融，催生出AI短剧、博物馆数字文创等新址品，不仅丰富了文化抒发步地，也培育出更多文化消费新场景。“特质文化+数字期间”，助力乡村全面振兴。通过数字期间，将地标农居品、乡村非遗身手融入微短剧等试验创作，好像进一步素质特质文化居品的创意智商和知道力，为乡村全面振兴注入新动能。

——北京大学文化产业谈论院学术委员会主任  陈少峰开yun体育网