GGUFモデルのトークナイザ

GGUFモデルを扱うための llama.cpp は、Homebrewでは brew install llama.cpp でインストールできる。これに含まれる llama-tokenize コマンドで文字列をトークンに分割できる。llama-tokenize --help で使い方がわかる。例えば

llama-tokenize --stdin -m /path/to/gemma-4-31B-it-UD-Q8_K_XL.gguf

と打ち込んで、標準入力に文字列・文章を打ち込み、Ctrl-D すれば、トークン分割した結果が表示される。

llama-tokenize にはトークンの語彙を一覧する機能はなさそうなので、Codexに書いてもらったのが dump_gguf_vocab.py である。これで

./dump_gguf_vocab.py -m /path/to/gemma-4-31B-it-UD-Q8_K_XL.gguf -o vocab.txt --format plain

としてできる vocab.txt を使って、日本語っぽい語彙の長いものを抜き出してみる：

import re

japanese_re = re.compile('[\u3000-\u30ff\u4e00-\u9fff\uf900-\ufaff]')

with open('vocab.txt') as f:
    vocab = [line.rstrip('\n') for line in f]

vocab.sort(key=len, reverse=True)

for w in vocab[:100000]:
    if japanese_re.search(w):
        print(repr(w))

Gemma 4についての結果は次のようになった：

'▁中国证券投资基金业协会'
'ありがとうございました'
'ありがとうございます'
'▁スタッドレスタイヤ'
'よろしくお願いします'
'のではないでしょうか'
'することができます'
'证券投资基金业协会'
'させていただきます'
'する必要があります'
'コミュニケーション'
'▁ショルダーバッグ'
'場合がございます'
'することができる'
'存于互联网档案馆'
'アプリケーション'
'してみてください'
'ることができます'
'お願いいたします'
'可能性があります'
'かもしれませんが'
'▁ホイールセット'
'ようになりました'
'きたいと思います'
'したいと思います'
'クレジットカード'
'加入参数向量中'
'原始内容存档于'
'かもしれません'
'▁サマータイヤ'
'ことができます'
'ではありません'
'▁アクセサリー'
'になっています'
'場合があります'
'▁スタッドレス'
'ご了承ください'
'インターネット'
'▁ダイヤモンド'
'いただきました'
'となっています'
'パフォーマンス'
'中华人民共和国'
'▁ハンドバッグ'
'▁ファッション'
'ることができる'
'お願い致します'
'と思っています'
'▁ブリヂストン'
'必要があります'
'私募基金管理人'
'▁例文帳に追加'
'ことがあります'
'▁ヴィンテージ'
'▁アンティーク'
'することにより'
'ご確認ください'
'スマートフォン'
'ということです'
'▁生命周期函数'
'させて頂きます'
'が通販できます'
'をご覧ください'
'次元拡散方程式'
'▁ブレスレット'
'▁ポリエステル'
'▁パナソニック'
'▁レディース'
'例文帳に追加'
'してください'
'されています'
'原始内容存档'
'になりました'
'しております'
'▁こんにちは'

Qwen 3.6の結果は次のようになった：

'承担一切因您的行为而直接或间接'
'转载请附上原文出处链接和本声明'
'加倍支付迟延履行期间的债务利息'
'摘编或利用其它方式使用上述作品'
'凭营业执照依法自主开展经营活动'
'开通天眼生意通银牌及以上会员'
'并不意味着赞同其观点或证实其'
'新时代中国特色社会主义思想'
'赞同其观点和对其真实性负责'
'以习近平同志为核心的党中央'
'可通过二维码转账支持公众号'
'该楼层疑似违规已被系统折叠'
'中华人民共和国民事诉讼法'
'中华人民共和国居民身份证'
'转载目的在于传递更多信息'
'这样您就可以继续免费收到'
'转贴或以其他方式复制发表'
'本网将追究其相关法律责任'
'判决书送达之日起十五日内'
'よろしくお願いいたします'
' ありがとうございました'
'新时代中国特色社会主义'
'摘编或利用其它方式使用'
'转载请附上原文出处链接'
'或许有别人想知道的答案'
'出于传递更多信息之目的'
'转载至本站只是为了宣传'
'增值电信业务经营许可证'
'人民代表大会常务委员会'
'全面建设社会主义现代化'
'认证成功后即可编辑信息'
'了解企业实力直观的方式'
'除依法须经批准的项目外'
'ありがとうございました'
'目的在于传递更多信息'
'生意通银牌及以上会员'
'承担一切因您的行为而'
'转贴或以其他方式复制'
'疑似违规已被系统折叠'
'依法须经批准的项目外'
'你对这个回答的评价是'
'经相关部门批准后方可'
'人力资源和社会保障局'
'财产保险股份有限公司'
'中华人民共和国合同法'
'个或多个下面的关键词'
'国家市场监督管理总局'
'所有章节均由网友上传'
'受苹果公司新规定影响'
'最高人民法院关于审理'
'实现中华民族伟大复兴'
'未经本网授权不得转载'
'归属于上市公司股东的'
'汽车销售服务有限公司'
'ありがとうございます'
'のではないでしょうか'
'よろしくお願いします'
'させていただきました'
'依法须经批准的项目'
'人力资源和社会保障'
'赞同其观点或证实其'
'同志为核心的党中央'
'认证成功后即可编辑'
'追究其相关法律责任'
'送达之日起十五日内'
'凭营业执照依法自主'
'社会主义核心价值观'
'房地产开发有限公司'
'希望对大家有所帮助'
'公开开庭进行了审理'
'中华人民共和国刑法'
'高新技术产业开发区'
'网站或个人未经本网'
'违法和不良信息举报'
'登录后查看更多信息'
'本书让更多读者欣赏'
'新型冠状病毒感染的'
'本网将依法追究责任'
'遵守中华人民共和国'
'应在授权范围内使用'
'长按二维码向我转账'
'食品药品监督管理局'
'本文为博主原创文章'
'如有侵权请联系删除'
'挖掘公司最终受益人'
'评论内容只代表网友'
'限量特惠的優惠按鈕'
'庆祝中国共产党成立'
'させていただきます'
'することができます'
'コミュニケーション'
'する必要があります'
'わけではありません'
' スポンサーサイト'
'ものではありません'
' スポンサーリンク'
'お待ちしております'
'はいかがでしょうか'
'しなければならない'
'新型コロナウイルス'
'めでとうございます'
'中国特色社会主义'
'转贴或以其他方式'
'这个回答的评价是'
'最高人民法院关于'
'保险股份有限公司'
'中华民族伟大复兴'
'出于传递更多信息'
'市场监督管理总局'
'本站只是为了宣传'
'这样您就可以继续'
'受苹果公司新规定'
'可通过二维码转账'
'加倍支付迟延履行'
'科技股份有限公司'
'发生变更时通知我'
'网络科技有限公司'
'统一社会信用代码'
'版权归原作者所有'
'集团股份有限公司'
'生物科技有限公司'
'电子科技有限公司'
'信息科技有限公司'
'信息技术有限公司'
'查看本题答案分析'
'科技发展有限公司'
'银行股份有限公司'
'文化传播有限公司'
'历史失信被执行人'
'历史知识产权出质'
'电子商务有限公司'
'建设工程有限公司'
'文化传媒有限公司'
'建筑工程有限公司'
'投资管理有限公司'
'环保科技有限公司'
'习近平总书记关于'
'全面建成小康社会'
'本案现已审理终结'
'证券股份有限公司'
'智能科技有限公司'
'免费在线预览全文'
'装饰工程有限公司'
'自然人投资或控股'
'餐饮管理有限公司'
'社区卫生服务中心'
'小编为大家整理的'
'教育科技有限公司'
'机械设备有限公司'
'物业管理有限公司'
'企业合作安全评分'
'事业单位公开招聘'
'供给侧结构性改革'
'准确性和合法性由'
'发展和改革委员会'
'均转载自其它媒体'
'建设集团有限公司'
'请您先点击上面的'
'挖掘深层股权结构'
'公共资源交易中心'
'科技有限责任公司'
'知道小有建树答主'
'向本院递交上诉状'
'国家自然科学基金'
'控股集团有限公司'
'新冠肺炎疫情防控'
'机械制造有限公司'
'协议授权不得转载'
'社会主义市场经济'
'人力资源社会保障'
'图片和音视频稿件'
'请及时与我们联系'
'增值税一般纳税人'
'扫黑除恶专项斗争'
'机电设备有限公司'
'基金管理有限公司'
'认证成功后可编辑'
'集团有限责任公司'
'疾病预防控制中心'
'知道大有可为答主'
'有下列情形之一的'
'中华优秀传统文化'
'网络技术有限公司'
'资产管理有限公司'
'瞬息掌握企业关系'
'国际贸易有限公司'
'場合がございます'
'クレジットカード'
'かもしれませんが'
'してみてください'
'きたいと思います'
'ようになりました'
'することができる'
'したいと思います'
'ることができます'
'可能性があります'
'・・・・・・・・'
'ことはありません'
'なければならない'
'のかもしれません'
'プラットフォーム'
'アプリケーション'
'となっております'
'できませんでした'
'コンサルティング'
'と言われています'
' 引用をストック'
'周辺のレストラン'
' トラックバック'
'ーーーーーーーー'
'ことができました'
'に行ってきました'
' にほんブログ村'
'ようにしましょう'
'ありがとうござ'
'中华人民共和国'
'银牌及以上会员'
'为核心的党中央'
'承担一切因您的'
'认证成功后即可'
'经相关部门批准'
'社会主义现代化'
'准确性和合法性'
'对其真实性负责'
'中国共产党成立'
'授权范围内使用'
'让更多读者欣赏'
'期间的债务利息'
'归属于上市公司'
'市场监督管理局'
'的重要组成部分'
'经济技术开发区'
'律师事务所律师'
'住房和城乡建设'
'可以根据自己的'
'非物质文化遗产'
'扫描下方二维码'
'党的二十大精神'
'历史限制消费令'
'委托诉讼代理人'
'疑似实际控制人'
'加入购物车收藏'
'与本站立场无关'
'版权与免责声明'
'长按识别二维码'
'习近平总书记在'
'扫描二维码下载'
'识别图中二维码'
'广西壮族自治区'
'转载请注明出处'
'这个名字在国外'
'选择适合自己的'
'本科及以上学历'
'农民专业合作社'
'你的手机镜头里'
'随着时间的推移'
'解决问题的能力'
'党的十九大精神'
'工商行政管理局'
'若干问题的解释'
'中国人民解放军'
'专栏收录该内容'
'监督管理委员会'
'道路交通安全法'
'大专及以上学历'
'种植专业合作社'
'发表或查看评论'
'全心全意为人民'
'市中级人民法院'
'新时代文明实践'
'版权和其它问题'
'对此不承担任何'
'领导小组办公室'
'工业和信息化部'
'在今后的工作中'
'历史法定代表人'
'增值税专用发票'
'上海证券交易所'
'图片来源于网络'
'党的十八大以来'
'涉及版权等问题'
'加入中国共产党'
'小说为转载作品'
'战略性新兴产业'
'仅代表作者本人'
'完全是免费订阅'
'工作经验者优先'
'请联系我们删除'
'全国人大常委会'
'新材料有限公司'
'侵犯了您的权益'
'相关负责人表示'
'并按对方当事人'
'赞赏功能被关闭'
'违反上述声明者'
'深圳证券交易所'
'我为群众办实事'
'指定的期间履行'
'养殖专业合作社'
'企业荣誉等信息'
'学生的学习兴趣'
'人均可支配收入'
'和合作方的纠纷'
'第二百五十三条'
'的人数提出副本'
'涡轮增压发动机'
'天眼评分是客户'
'使用时必须注明'
'中共中央政治局'
'打下坚实的基础'
'至关重要的作用'
'加分后可超过约'
'可行性研究报告'
'国家发展改革委'
'经济社会发展的'
'随着年龄的增长'
'互联网信息服务'
'授权使用作品的'
'党风廉政建设和'
'多个国家和地区'
'かもしれません'
'ではありません'
'よろしくお願い'
'必要があります'
'トラックバック'
'ことができます'
'インターネット'
'になっています'
'いただきました'
'と思っています'
'場合があります'
'ご了承ください'
'となっています'
'ことがあります'
'ということです'
'をご覧ください'
'につきましては'
'をご紹介します'
'マーケティング'
'こともあります'
' お問い合わせ'
'になってしまう'
'ることができる'
'スマートフォン'
'させて頂きます'
'ことになります'
'パフォーマンス'
'コンサルタント'
'にお問い合わせ'
'ソリューション'
'ようになります'
'してみましょう'
'プログラミング'
'コーディネート'
'メールアドレス'
'ワークショップ'
'をお願いします'
'されていました'
'カウンセリング'
'を行っています'
'にもかかわらず'
'教えてください'
' ということで'
' トップページ'
'お試しください'
'なのでしょうか'
'ご注意ください'
'ではありますが'
'ご確認ください'
'科技有限公司'
'股份有限公司'
'管理有限公司'
'传递更多信息'
'工程有限公司'
'市场监督管理'
'或以其他方式'
'有限责任公司'
'集团有限公司'
'习近平总书记'
'设备有限公司'
'技术有限公司'
'相关部门批准'
'最高人民法院'
'授权不得转载'
'只是为了宣传'
'相关法律责任'
'这样您就可以'
'其它方式使用'
'支付迟延履行'
'原文出处链接'
'已被系统折叠'
'服务有限公司'
'发展有限公司'
'贸易有限公司'
'开展经营活动'
'中级人民法院'
'版权归原作者'
'社会信用代码'
'制造有限公司'
'失信被执行人'
'新型冠状病毒'
'知识产权出质'
'道路交通安全'
'人民代表大会'
'传媒有限公司'
'查看本题答案'
'工业和信息化'
'现已审理终结'
'赞同其观点和'
'高新技术产业'
'自然科学基金'
'想知道的答案'
'优秀传统文化'
'依法追究责任'
'增值电信业务'
'查看更多信息'
'下面的关键词'
'均由网友上传'
'图片和音视频'
'小有建树答主'
'了解企业实力'
'大有可为答主'
'掌握企业关系'
'同城认证商家'
'商贸有限公司'
'职业技术学院'
'咨询有限公司'
'经济社会发展'
'值得一提的是'
'实业有限公司'
'疫情防控工作'
'机械有限公司'
'投资有限公司'
'电子有限公司'
'需要注意的是'
'一起来看看吧'
'党史学习教育'
'制品有限公司'
'值得注意的是'
'食品有限公司'
'新冠肺炎疫情'
'基础设施建设'
'内容的真实性'
'材料有限公司'
'工作领导小组'
'高新技术企业'
'您现在的位置'
'国家税务总局'
'以下几个方面'
'无症状感染者'
'是非常重要的'
'组织机构代码'
'全面从严治党'
'在这种情况下'
'中国人民银行'
'会计师事务所'
'严格要求自己'
'人力资源管理'
'固定资产投资'
'党风廉政建设'
'更多精彩内容'
'行政主管部门'
'纳税人识别号'
'开发有限公司'
'化工有限公司'
'包括但不限于'
'点击查看答案'
'历史行政许可'
'重要讲话精神'
'物流有限公司'
'深入学习贯彻'
'历史工商信息'
'在一定程度上'
'历史被执行人'
'高级管理人员'
'历史经营异常'
'历史网站备案'
'基本医疗保险'
'用作人名意指'
'历史行政处罚'
'历史立案信息'
'历史开庭公告'
'历史法律诉讼'
'历史对外投资'
'历史送达公告'
'历史法院公告'
'历史股权出质'
'历史终本案件'
'历史司法协助'
'历史动产抵押'
'在日常生活中'
'历史土地抵押'
'历史欠税公告'
'历史商标信息'
'历史严重违法'
'历史环保处罚'
'历史破产重整'
'内蒙古自治区'
'越来越多的人'
'专业技术人员'
'企业受益股东'
'相关法律法规'
'到庭参加诉讼'
'具有重要意义'
'质量管理体系'
'证券投资基金'
'政府信息公开'
'生态环境保护'
'机动车驾驶证'
'合作风险分析'
'安全生产工作'
'深入贯彻落实'
'以下有期徒刑'
'认真贯彻落实'
'您当前的位置'
'在这个过程中'
'置业有限公司'
'高质量发展的'
'基本养老保险'
'相关工作经验'
'建设有限公司'
'历史股东信息'
'判处有期徒刑'
'并不代表本网'
'道路交通事故'
'中国人民大学'
'大专以上学历'
'建材有限公司'
'原件及复印件'
'先锋模范作用'
'粤港澳大湾区'
'我们可以看到'
'合同纠纷一案'
'心理健康教育'
'电器有限公司'
'药业有限公司'
'下载百度知道'
'政府工作报告'
'各项规章制度'
'其他类似问题'
'使用百度知道'
'立即抢鲜体验'
'解除劳动合同'
'控股有限公司'
'项目承办单位'
'有关法律法规'
'经营范围包括'
'生态文明建设'
'优化营商环境'
'团队合作精神'
'服饰有限公司'
'投标文件递交'
'根据实际情况'
'提高工作效率'
'可持续发展的'
'乡村振兴战略'
'更多类似问题'
'市人大常委会'
'点击阅读原文'
'环境影响评价'
'北京市朝阳区'
'代理有限公司'
'发生交通事故'
'用品有限公司'
'国务院办公厅'
'北京市海淀区'
'如不服本判决'
'普通高等学校'
'工作会议精神'
'实现营业收入'
'志愿服务活动'
'上海交通大学'
'法定代表人为'
'中国共产党的'
'尊重网上道德'
'广大党员干部'
'入党积极分子'
'亲爱的同学们'
'微信公众平台'
'知识产权保护'
'领导班子成员'
'自主知识产权'
'坚定理想信念'
'根据权利要求'
'主营业务收入'
'医科大学附属'
'希望能够帮助'
'事业单位招聘'
'搜索相关资料'
'战略合作协议'
'搜索整个问题'
'文物保护单位'
'适用简易程序'
'在使用过程中'
'点击上方蓝字'
'公共服务平台'
'教育实践活动'
'信息仅供参考'
'高等专科学校'
'对你有帮助么'
'工贸有限公司'
'我们可以通过'
'主题党日活动'
'新闻发布会上'
'思想政治教育'
'发生法律效力'
'精神文明建设'
'社会实践活动'
'电气有限公司'
'制药有限公司'
'让我们一起来'
'点击复制链接'
'真正意义上的'
'认证我的企业'
'广大人民群众'
'医生的指导下'
'深圳市福田区'
'销售有限公司'
'交通违法行为'
'世界卫生组织'
'点击进行搜索'
'很长一段时间'
'全面深化改革'
'硕士学位论文'
'历史股东镜像'
'各项工作任务'
'北京师范大学'
'交通管理部门'
'高级人民法院'
'中等职业学校'
'农村商业银行'
'不知道为什么'
'党员领导干部'
'第一人民医院'
'全国文明城市'
'是一种常见的'
'违法违规行为'
'交通事故责任'
'在很大程度上'
'中国传统文化'
'中央八项规定'
'商业特许经营'
'企业管理咨询'
'可以帮助我们'
'深度风险分析'
'评价指标得分'
'语言表达能力'
'在新的一年里'
'维吾尔自治区'
'经营纠纷提示'
'分享到朋友圈'
'国家森林公园'
'案件适用法律'
'职业资格证书'
'相结合的方式'
'承担赔偿责任'
'玩家可以通过'
'每天都有分享'
'职业技术学校'
'积累了丰富的'
'解决这个问题'
'综合行政执法'
'希望可以帮助'
'涉金融黑名单'
'是必不可少的'
'思想政治工作'
'一般公共预算'
'城市轨道交通'
'本科以上学历'
'民事行为能力'
'欢迎大家阅读'
'教育行政部门'
'深圳市宝安区'
'现将有关事项'
'认缴出资日期'
'请与我们联系'
'认证成功后可'
'航空航天大学'
'在规定时间内'
'生命财产安全'
'义务教育阶段'
'机关事业单位'
'建设工程施工'
'公开发行股票'
'住房城乡建设'
'职业生涯规划'
'国家和地区的'
'电子科技大学'
'全面贯彻落实'
'查看答案解析'
'腰椎间盘突出'
'涉及版权问题'
'被供应商起诉'
'地理位置优越'
'采购代理机构'
'仪器有限公司'
'临时股东大会'
'科技成果转化'
'国际会展中心'
'爱国主义教育'
'历史高管镜像'
'华中科技大学'
'从业资格考试'
'党的群众路线'
'汽车有限公司'
'以上就是小编'
'广告有限公司'
'认证后至多加'
'质量技术监督'
'全体干部职工'
'显示全部楼层'
'世界上最大的'
'改革开放以来'
'大气污染防治'
'计算机软硬件'
'产业转型升级'
'核酸检测阴性'
'以上就是关于'
'生产建设兵团'
'产业结构调整'
'的时候一定要'
'用户可以通过'
'经营范围变更'
'标志是何含义'
'在这个世界上'
'均来自互联网'
'优秀共产党员'
'您所在的位置'
'六中全会精神'
'农村人居环境'
'信用信息公示'
'主管税务机关'
'工程专业承包'
'第一时间删除'
'第二人民医院'
'希望大家能够'
'させていただ'
' スポンサー'
'しております'
'になりました'
'っております'
'がございます'
'ということで'
'のレストラン'
'ってきました'
'われています'
'につきまして'
'フォーマンス'
'リューション'
'なのでしょう'
'ほんブログ村'
'されています'
'してください'
'ございました'
'はありません'
'になっている'
'ダウンロード'
'だと思います'
'プロジェクト'
'いただけます'
'ことができる'
'しまいました'
'のでしょうか'
'ホームページ'
'ファッション'
'かもしれない'
'キャンペーン'
'がありました'
'していきます'
' こんにちは'
'ませんでした'
'お問い合わせ'
'となりました'
'っていました'
'られています'
'インストール'
'と思いますが'
'トレーニング'
'していました'
'ネットワーク'
'と思いました'
'キャラクター'
'申し上げます'
'となっている'
'いただきます'
'かと思います'
'いたしました'
'セキュリティ'
'ということは'
'おすすめです'
'と思っていた'
'と思っている'
'してきました'
'いております'
'ようになった'
'確認ください'
'ショッピング'
'アドバイザー'
'されていない'
'しているので'
'でございます'
'ということを'
'だけではなく'
'メンテナンス'
'観光スポット'
'を持っている'
'がありますが'
'ってください'
'ございません'
'ソフトウェア'
'なかったので'
'インタビュー'
' レストラン'
'ようになって'
'がありません'
'していただけ'
'コミュニティ'
'っているので'
'のではないか'
'していますが'
'してみました'
'わけではない'
'しかったです'
' 続きを読む'
'してしまった'
'プライバシー'
'マネジメント'
'してくれます'
'コレクション'
'お願いします'
'できなかった'
'コントロール'
'できるように'
'もありますが'
'アーティスト'
'くなりました'
'くださいませ'
'アクセサリー'
'みてください'
'良いでしょう'
'ということが'
'良かったです'
'ってしまった'
'プライベート'
'スケジュール'
'ノベーション'
'はこちらから'
'データベース'
'ボランティア'
'キャッシング'
'いただきたい'
'もございます'
'ご覧ください'
'可能性がある'
'っていきます'
'と思われます'
'をしています'
'としています'
'アップデート'
'というような'
'オリンピック'
'っていますが'
'ブログに表示'
'クライアント'
'いきましょう'
'ちょっとした'
'になっていた'
'を行いました'
'クリーニング'
'宜しくお願い'
'ダイヤモンド'
'テクノロジー'
'チョコレート'
'なくなります'
'オススメです'
'ポリエステル'
' オンライン'
' このような'
'ニューヨーク'
'ことでしょう'
'であることを'
'プロフィール'
'になりますが'
'でもあります'
'ディスプレイ'
'サプリメント'
'ことによって'
'を行っている'
' とりあえず'
' カテゴリー'
'ピックアップ'
' このように'
'ウェブサイト'
'フィリエイト'
'を紹介します'
'ってみました'
'いらっしゃる'
'プラスチック'
' わからない'
'コンピュータ'
' この広告は'
'がかかります'
'エージェント'
'してもらえる'
'していきたい'
'リニューアル'