音声データセットMozilla Common Voiceに関する覚え書き

Mozilla Common VoiceはCC0（≒パブリックドメイン=著作権放棄）で提供されている音声データセットです。運営しているのはWebブラウザFirefox（最盛期はIEに次ぐシェアのあった……）の開発などを手がけているMozilla Foundationです。

「話者の身元を特定しないこと」という条件はありますが、利用規約上各話者はCC0で公開されることに自ら同意しており、かつこのプロジェクトに参加したりしなかったりすることで何らかの不利益（たとえば、Firefoxが使えなくなるとか）が発生するわけでもない字義通りのボランティア※によるものです。

なので別に有償ボランティアは矛盾ではないのである……Common Voiceには何も直接的なリワードもありませんが。

2023年4月25日の時点で、検証済みの音声だけで全世界17,000時間という大規模なデータセットです。

が、あまりに巨大すぎるために凡夫には扱いにくい部分もありました。悩んだところとその対応についての覚え書きがこちらの記事になります。

Mozilla Common Voiceの内容

全世界で何万時間という膨大なデータですので、全世界ではなくまず言語ごとに分かれています。

バージョン13.0では、日本語話者は73時間・3.42GBですが、英語話者の検証済み音声はなんと2,429時間・76.39GB（！）もあります。
日本語版だと同一話者で1000ファイル以上あるものはあまりないので、今回は英語話者のデータを用いました。が、でかい……。

さすがに数十GBもあると、その倍のストレージ容量を空けて一括ダウンロードして展開して……は躊躇しますが、Hugging Faceからであれば音声MP3本体は4万ファイル毎に分割したtarballをダウンロードできます。
ただし、Hugging FaceからのDLにはアカウント登録が必要です。

言語とは別に、データセット内の物理ファイルは大きく分けて2つのデータに分かれています。

また、各データは検証結果などに応じ、invalidated, test, trainなどに分類されています。
このうち、検証結果良好なのはvalidatedまたはdev, test, trainで、特にデータが多いものはtrainなので、とりあえずtrainを使っておけば問題ないでしょう。

困ったこと

録音品質がまちまち

ご厚意で参加されているボランティアであって別に発話のプロフェッショナルではないので、録音品質がまちまちです。そもそもが音声認識用に集められているデータです。リップノイズや反響音みたいな機械的に取り切らないノイズはもちろんのこと、データによっては環境音もけっこう入ってたりします。

こればかりは仕方ないので、ある程度録音の質が良いデータを絞りつつ、多少ノイズが入っててもいいような使い方をするほかないですね。。

メタデータTSVが巨大で処理に時間がかかる

transcript内のTSV（タブ区切りデータ）は、CSVの区切り文字をタブに変えただけなのでExcelなどの表計算ソフトで読めますが、言語によってはデータ量が多すぎ、読めるだけになってほぼビューワとしてしか使えません。

ExcelやLibreOfficeは105万行弱までのデータしか扱えませんが、英語話者のtrain.tsvは100万行ちょっとあります。ギリギリです。
Googleスプレッドシートは1,000万セルしか扱えません。

いちおう、LibreOfficeで100万行まるまる読み込ませてもピボットテーブルは使えました。さすが……❣

しかし100万行のデータとなると読み込みと保存だけで数十秒待たされます。Googleスプレッドシートに変換しようとしたら大きすぎると怒られました（手作業で分割して写せばいけたかもしれませんが）。
100万行に下手な数式を打とうものなら時間単位で固まります。1行10ミリ秒の処理だとしても3時間ぐらいかかる計算になりますからね。。

最初から絶対使わないなと思ったデータは削りつつ、重い突合処理はPython書いてやってました。

MP3が多すぎてエクスプローラが重い

NTFSは辞書順ソート（文字コード順ソート）なはずですが、一つのフォルダに何万ファイルも入っているとファイル名が分かっていてもなかなか見つからなかったりします。

パスが分かっている場合、GUIに頼るほうがかえって手間がかかってしまうので、DOS窓開いて「start (MP3のパス)」一択でした。

MP3がサブフォルダに分かれている

バージョン13.0ですと日本語話者のMP3はそんなに多くないので一つのフォルダにまとまっていますが、英語話者は100万件ちょっともあるので4万件ごとにサブフォルダに分かれています。

だもので、ファイル名が分かっても、そのファイルがどのフォルダにあるかも知らないとパス指定でMP3を開けません。

そのため、フォルダごとのファイル一覧を書き出して、それとTSVに書かれているファイル名を突き合せていました。

カレントフォルダ以下のフォルダごとのファイル名一覧を書き出すやつ。

上のスクリプトの出力と、カレントフォルダの「target.csv」（ファイル名のみ1列）を突き合せ、各ファイルの親フォルダを書き出すやつ。

おまけ。同じフォルダにある「to-copy.csv」（フォルダ名,ファイル名の2列）で指定されたMP3を作業フォルダ「C:\work\in\cv」にコピーするやつ。