WB 世界银行刚画出了“AI 的语言世界”

8 月 21 日，世界银行把一种语言有多少使用者和互联网上有多少这种语言的网页放在一起比较。结果非常悬殊：英语单独就占接近一半的全球 URL，而很多拥有数千万乃至上亿使用者的语言，在网上留下的文字却少得可怜。

排名	语言	全球 URL 占比
🥇 1	英语	45%
🥈 2	俄语	约 6%
🥈 2	德语	约 6%
4	中文	约 5%
4	日语	约 5%
6	西班牙语	4.21%
7	法语	4.12%

最反常的是俄语和德语。从人口看它们根本不是世界第二、第三大语言，但在公开网页中的存在感极高。反过来，中文母语人口巨大，却只占约 5% 的全球 URL。这和互联网生态有关：中国大量内容集中在微信、微博、App、小程序等较封闭的平台里，未必能像开放网页一样被 Common Crawl 抓取。所以这里测的不是“互联网所有内容”，更接近公开可抓取 Web 的语言组成。

https://blogs.worldbank.org/en/opendata/how-well-does-ai-speak-your-language-