2025-02-15
Merge multiple Mozc UT dictionaries into one and modify the costs.
They need more Stars.
mozc: 1930 Stars
fcitx5-mozc: 82 Stars
merge-ut-dictionaries: 40 Stars
Starring a repository also shows appreciation to the repository maintainer for their work. - GitHub Docs
リポジトリに Star を付けるということは、リポジトリメンテナに対してその作業についての感謝を示すことでもあります。- GitHub Docs
mozcdic-ut.txt (generated by merge-ut-dictionaries): Combined
jawiki-latest-pages-articles-multistream-index.txt: CC BY-SA
dictionary*.txt and id.def from Mozc: BSD-3-Clause
Source code: Apache License, Version 2.0
git clone --depth 1 https://github.com/utuhiro78/merge-ut-dictionaries.gitComment out unnecessary dictionaries in src/merge/make.sh.
Default settings:
#alt_cannadic="true"
#edict2="true"
jawiki="true"
#neologd="true"
personal_names="true"
place_names="true"
#skk_jisyo="true"
sudachidict="true"cd src/merge/
sh make.sh
cat mozcdic-ut.txt >> ../../../mozc-master/src/data/dictionary_oss/dictionary00.txtBuild Mozc as usual.
Uncomment #generate_latest="true" in
src/merge/make.sh.
It downloads the latest “jawiki-latest-pages-articles-multistream.xml.bz2” (4.1 GB).
Mozc UT dictionaries contain the following dictionaries:
2023-01-11:
「mozc ut」を検索するとこんなツイートがあった。
暗黒美無王 dark Vim@ShougoMatsu · 7,463 フォロワー
なぜLinux日本語入力が終わるのか。これは簡単な話です。
Linux日本語入力なんてLinuxデスクトップを直接使ってる人にしか需要がないのです。
2023年1月9日 · 897 件のいいね山田ハヤオ@Hayao0819 · 6,325 フォロワー
これは一番自分が危惧してること
インプットメソッドは中国のちからがあるのでなくならないとしても、MozcはGoogle依存だしUt系辞書はライセンス的に微妙なのでまともな方法がほしい
2023年1月9日 · 61 件のいいね
まず暗黒美無王さんのツイートから。
Linux日本語入力が終わる理由は、作っている人に聞かないとわからない。プロジェクトをやめる理由は人それぞれだし、他人が「簡単な話」として語るものでもない。
MozcのLinux対応は2010年5月から行われている。10年以上続いたプロジェクトが終わるとき、ユーザーから言える話は「プロジェクトメンバーへの感謝」しかない。
次に山田ハヤオさんのツイート。
「中国のちからがあるのでなくならない」「Google依存なのでまともな方法ではない」と言うのは、作っている人へのリスペクトがなさすぎる。
UT辞書に関して言うと、山田さんは過去にも「-ut系はライセンスが複雑で不透明」「法的な部分が怖い」とツイートしていた。
山田ハヤオ@Hayao0819 · 6,325 フォロワー
Ibusはビルドに失敗するのと-ut系はライセンスが複雑で不透明なので使ってないです
2021年9月3日 · 3 件のいいね
それで法的な部分が怖いので、開発のかなり初期段階でut系は無理=ibusは難しいという結論になっています
2021年9月4日 · 2 件のいいね
「法的な部分が怖い」と言われると、言われた方はもっと怖くなる。公開を続けて良いものか迷った。
当時のUT辞書では、1つのパッケージに jawiki や neologd
などの辞書をまとめて収録していた。パッケージのライセンスには辞書名とそれぞれのライセンスを列挙していた。それが「ライセンス的に微妙」「ライセンスが複雑で不透明」「法的な部分が怖い」と判断されたようだ。
だが、ライセンスが異なる複数の辞書を組み合わせることは、mecab-ipadic-NEologd
や SudachiDict
でも行われている。問題はないだろうと判断して、このときは公開を続けた。
今回のツイート。
Ut系辞書はライセンス的に微妙なのでまともな方法がほしい
2023年1月9日 · 61 件のいいね
最初に見たとき、「いいね」が30件以上ついていて驚いた。
公開を続ければ同じようなことを言われ続けるだろうし、山田さんにはフォロワーが6000人以上いるので、そこからの反応もあるだろう。フリーの配布物に余計なリスクは背負えない。
山田さんのツイートを掲載して、UT辞書の公開終了をアナウンスした。
2023-01-13:
暗い気持ちになっていたが、ライセンスをシンプルにする方法を思いついた。
jawiki や neologd
などの辞書を個別のリポジトリに置く。UT辞書生成プログラム（merge-ut-dictionaries）も独立したリポジトリに置く。
そうすれば、個々のリポジトリのライセンスはシンプルになる。生成したUT辞書は配布しない。
2023-01-15:
各辞書のリポジトリを作成した。
merge-ut-dictionaries のリポジトリを作成した。
最初は「分割するだけだから簡単だろう」と考えていたが、複数のリポジトリ作成とドキュメント書きとコードのアップデートで、かなり手間がかかった。
2023-04-00:
UT辞書終了のアナウンスをしてから、Mozc関連の話題は見ていなかった。
少し調べると、山田ハヤオさんが「Mozc Re-UT
Dictionary」を作っていた。
Hayao0819/Re-UT
Mozc Re-UT Dictionary. 本家Mozc-UT辞書様の代替を目標としたオープンソースプロジェクトです。
すごいことをするなあ。山田さんが誰かのクレームをきっかけに自分のプロジェクトをやめて、クレームを書いた人が「Re-Hayao」と名付けたプロジェクトを始めたら、山田さんはどう思うんだろう。
Mozcチームの皆さんと、Fcitx開発者の wengxt さんに深く感謝。
ユーザーからの感謝がないと、オープンソースソフトウェアは続かないと思う。
主な更新のみ記載。
2010-11-03:
Mozc UT辞書をリリース。
2016-01-14:
Mozc NEologd UT辞書をリリース。コストは mecab-ipadic-NEologd
のものをベースにした。
2016-10-13:
Mozc UT2辞書をリリース。Mozc
UT辞書を入れたパーティションを壊してしまったので作り直した。
2016-10-20:
Mozc
UT2辞書のコスト計算を変更。ウィキペディア全記事内で表記を完全一致検索し、ヒット数に応じてコストを設定した。ウィキペディア全記事のサイズは解凍前で3GBほどあるので、コスト計算には長い時間と高い負荷がかかった。
2020-02-06:
NEologd辞書のコストも独自に計算することにした。元のコストだと「三浦大知」より「三浦大地」が優先されるので。ただ、ウィキペディア「全記事」内で表記を完全一致検索すると時間がかかりすぎる。時間短縮のため、Neologd辞書ではウィキペディア「全見出し」内で表記を前方一致検索することにした。全見出しは解凍前で12MBなので、全記事（解凍前で3GB）を使うより遥かに時間を短縮できる。
2020-06-11:
UT2辞書とNEologd辞書を1つにまとめて、改めて「Mozc
UT辞書」としてリリース。辞書生成用のコードはほとんど書き直した。UT2辞書に相当する部分は、コストの計算方法をNEologd辞書と同じものにした。NEologd辞書を単体で配布するときは、「mozcdic-utからの派生」という意味で、ファイル名を「mozcdic-ut-neologd」とした。
2020-06-22:
jawiki辞書を追加。ウィキペディア全見出しを表記とし、記事本文から読みを得て、辞書を作成した。コストの計算方法はNEologd辞書と同じ。jawiki辞書はユーザー自身でアップデートでき、新語を簡単に追加できる。1人の努力に頼り切らない辞書づくりの仕組みが必要だと考えた。
2021-02-15:
SudachiDict辞書を追加。
2023-01-15:
jawiki や neologd などの辞書を個別のリポジトリに置いた。
merge-ut-dictionaries を作成。
生成したUT辞書の配布をやめた。
2024-07-04:
辞書生成プログラムを Python で書き換えた。
2024-10-22:
ソースコードを merge-ut-dictionaries
リポジトリにまとめた。コードが分散していると管理しにくい。辞書用のリポジトリには辞書ファイルのみを置くようにした。