夜间模式 切换到宽版

 找回密码
 注册

QQ登录

只需一步,快速开始

搜索
查看: 83|回复: 2

[科技新闻] 连鲁迅都想不到,当代网友为了省钱开始说文言文了

[复制链接]
  • 打卡等级:已臻大成
  • 打卡总天数:411
发表于 2026-4-20 11:47 | 显示全部楼层 |阅读模式

马上注册,查看更多内容,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?注册

×
1.png


经常用AI的朋友们都知道,要想AI用得爽,是得花钱的。大厂免费给你用的版本,很可能是阉割版,智力有问题,只会接住你的那种。
2.webp


但这就有个问题了:AI每次回答我,都用的是我花了钱的额度,有时候叽里咕噜说一堆,效率巨低,额度还唰唰掉,心疼啊。
所以有没有一种方法,能让AI回答你问题的时候,效率又高,还能省钱?
聪明的网友就想到了,汉语是世界上信息密度最高的语言,甚至文言文还是浓缩中的精华。。那我们用文言文跟AI聊天,对话篇幅大大减少,这算力省下来了,效率不就上来了,钱也扣得慢了,简直太完美了。
3.webp


比如,把“我去,用户彻底怒了”改成“呜呼,客官震怒”,把“你先别给我瞎bb”改成“何出此言”,让AI也用古文回我。
4.webp


有老哥已经直接询问AI了,答曰:可也。毕竟,古人拿文言文省竹简,又何尝不是一种省token?
5.webp


但也有人指出盲点:你省了token,消耗的不也是自己大脑的token吗?
6.webp


天纵之才也!
但实际上,江江经过一系列尝试后,可以给大家个结论了:
省token乎?谬也!
要搞清这个问题,我们得先知道,AI的算力消耗其实看的不是字数,而是token,可以理解为AI处理信息的最小单位。我们说的省钱、省算力,其实就是省token。
于是,我们用DeepSeek V3的token计算器,做了几个实验,结果嘛,非常反直觉。
比如,“用户彻底怒了”是3个tokens,而“客官震怒”是4个tokens。
7.webp


“永失吾爱”是4个tokens,“她永远不会回来了”却是3个tokens。
8.webp


甚至蒹葭苍苍4个字,就占了6个tokens,陕西著名美食面,更是来到了惊人的9个tokens。。
9.webp


最神秘的还是“免费在线观看”这6个字,DeepSeek那占3个token,GPT那它只占1个token,没有人知道GPT到底在线观看了什么。
10.webp


11.webp


所以说,字数越少效率越高这事儿,还真是个纯纯的伪命题。
为啥会这样呢?这就得从计算机是如何存储文字的说起了。
一个汉字在经过计算机编码后,会占3-4个字节,常用的字占3字节,而那些特别生僻的字,3字节放不下,就得占4个字节。而要把这些字节转化为AI能读懂的token,还得靠模型内部算法,它的工作原理其实很像消消乐。
一开始,所有汉字都被拆成字节存放,此时一个字节就是一个token。然后算法为了省算力,就会找那些相邻位置出现最频繁的字节,把它们合并成一个新的token。
比如"你""我""他"这些汉字对应的字节,成天组队出现,算法就直接给他们合并了,所以这些字就只占1个token。
12.png


甚至出现次数过多的词语,也会被合并成1个token,比如“用户”“彻底”“疯狂”,甚至“免费在线观看”这个词,都可以成为一个token。
而那些出现几率少的字,比如“蒹”“葭”“饕”“餮”,在训练数据里寥寥无几,BPE找不出字节内在的关联,就像小学生把不认识的字写成拼音,那就只能保存为几个零散的token了,于是1个字就会等于多个tokens。
13.png


而因为底层的编码方式,导致所有字符的编码最多4个字节,如果一个字巨生僻,打都打不出来,它就只能像金针菇一样,进去啥样出来还是啥样,不会被合并,所以,1个汉字消耗tokens的最大值,就是4个。
因此,文言文爱用的那些古典生僻字词,在token的交易里,反而是奢侈品,每个字对AI来说都很烧脑。
那既然用文言文不省token,那我要说啥语言才能省啊?
江江的结论是,没有结论。因为,不同模型的tokenizer,也就是token计算器完全不一样。我们拿同样的文本在OpenAI和DeepSeek那里都跑了一下,结果就截然不同,同一个字在OpenAI这边可能是2个token,在DeepSeek那边就是1个。
14.webp


15.webp


这是因为token怎么合并,取决于大模型的训练语料,而不同公司的训练语料构成差异巨大。
OpenAI的模型早期以英文语料为主,在token合并上,自然对英文更慷慨;DeepSeek等国产模型吃了大量中文语料,中文的高频组合见多了,自然就合并得更充分。
当然,模型也在不断进步,各家都在扩大多语言语料的覆盖,不同语言差距已经变得越来越小,所以除非你能把每个模型的token表背下来,不然咱不建议为了三瓜俩枣,抛弃自己舒服的交流方式。
16.webp


如果非要给个建议,你可以试试用文言文的思路说白话文,比如"你吃饭了没有?"说成"吃了否",“你是不是有毛病”说成“毛病乎?”
用你自己的大脑模拟一下,找到耗token最少的表达方式,主观能动性不就来了!
但讲道理,还是不如少说废话,奥特曼就曾经说过,你们整天给AI说谢谢,搞得我们已经多花几千万刀了,与其在形式上下功夫省token,不如从根源杜绝那些不必要的废话。
17.webp


虽然我根本忍不住,谁能忍住不问候两句呢?
18.webp


最后,其实还有个很有意思的视角。就算真有种信息密度大的语言,把token省了,最后费的还是你的脑子。
因为如果一种语言信息密度大,那也意味着,单个token表达的意思很多,歧义也会变大,咱就只能靠上下文理解来消歧,说白了 token 是省了,你还得自己费脑子理解。
比如,给你三分钟,你能读懂“用奶牛的牛牛牛奶,奶牛会不会被牛死”吗?
19.webp


所以,其实token在某种意义上是守恒的,AI省的越多,你大脑消耗的token越多,耗费的还是自己的储存的能量。
你想花钱更快,还是肚子饿得更快,就看你自己的选择了。
20.webp

  • 打卡等级:已臻大成
  • 打卡总天数:411
发表于 2026-4-20 12:15 | 显示全部楼层
看似字数少了,实际是压缩了,解压缩的过程更费token
回复 支持 反对

使用道具 举报

  • 打卡等级:已臻大成
  • 打卡总天数:411
发表于 2026-4-20 13:38 | 显示全部楼层
用的多了,就会了,就象草地走得多了就成了路。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

文字版|手机版|小黑屋|RSS|举报不良信息|精睿论坛 ( 鄂ICP备07005250号-1 )|网站地图

GMT+8, 2026-4-20 16:49 , Processed in 0.279544 second(s), 5 queries , Redis On.

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表