はじめに
以前も同様のことをしました。touch-sp.hatenablog.com
1年半ぶりに再チャレンジしました。
だいぶ使い方が変わっていました。
使用したモデル
モデルの比較はこちらです。（公式ページから転載）
これを見て「ReazonSpeech NeMo」を使うことにしました。
PC環境
2つの環境で動作確認しました。Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10
Windows 11 CUDA 11.8 Python 3.11
WindowsとPython 3.12の組み合わせではうまくいきませんでした。
環境構築
まずは「ffmpeg」のインストールが必要です。Ubuntu
sudo apt install ffmpeg
Windows
winget install ffmpeg
Python環境構築は以下の通りにしました。
pip install torch==2.4.1+cu118 --index-url https://download.pytorch.org/whl/cu118 git clone https://github.com/reazon-research/ReazonSpeech pip install ReazonSpeech/pkg/nemo-asr
「Cython」がないとエラーが出たらインストールして下さい。
pip install cython
実行
プロ野球日本ハムファイターズの齋藤友貴哉投手がプロ初セーブを挙げた2024年10月5日のヒーローインタビューの音声を文字起こししてみました。from reazonspeech.nemo.asr import load_model, transcribe, audio_from_path import sys audio_file = sys.argv[1] model = load_model() audio = audio_from_path(audio_file) ret = transcribe(model, audio) print(ret.text)
python run.py interview.wav
結果
放送席、放送席。そして全国のファイターズファンの皆さんヒーローインタビューです。今日のヒーローは見事、プロ初セーブを挙げられました斉藤之哉選手です。おめでとうございます。ありがとうございます!ありがとうございます!1点リードで迎えた9回の場面でしたがまず、どんな思いでマウンドへ上がられたんでしょうか。本当に今、マウンドでブルペン陣から行くだけっていう行くだけ。合言葉は行くだけです。気迫あふれるピッチングだったなと思います。今日は159キロの球速が出ていましたがご自身でその9回のピッチングを振り返ってみていかがでしょうか?先頭も出てすごくしびれたんですけど本当にもういくだけ。いくだけです。これで齋藤選手 、ご自身プロ初セーブとなりました。改めて今の気持ちを聞かせてください。プロ6年目でやっと初セーブ狙ったというところに来れ たと思います。今日は初めて自分の家族が見に来てくれて雨です。で、息子息子も来てくれてたんですよ。はい。ちょっとひと言いいですか。自分の大好きなアニメのメジャーのヒーローインタビューでお父さんが吾郎に対して言ってたひと言います。すいません。弾、やったぞ!ありがとうございます。息子さんにも伝わったんじゃないかなと思います。チームがクライマックスシリーズを控える中 でのこれが2連勝となりました。チームの雰囲気もぐっと上がっているんじゃないですか?最高です。行くだけなんで突き進むだけです。最後にファンの皆さんに熱いメッセージお願いします。あさってもイグだけ!ありがとうございました。今日のヒーローは斉藤由貴 也選手でした。おめでとうございます。
人物の文字起こしがうまくいっていません。
Whisperでのinitial_promptに相当する機能は見当たりませんでした。
touch-sp.hatenablog.com
Claude3.5 Sonnetに修正を依頼したら簡単に修正してくれました。
以下の文章は「齋藤友貴哉選手」のインタビューを文字起こししたものです。名前がうまく文字起こしできていません。修正してください。
ご提供いただいた文章を確認し、齋藤友貴哉選手の名前を正しく修正いたしました。以下が修正後の文章です： ``` 放送席、放送席。そして全国のファイターズファンの皆さんヒーローインタビューです。今日のヒーローは見事、プロ初セーブを挙げられました齋藤友貴哉選手です。おめでとうございます。ありがとうございます!ありがとうございます!1点リードで迎えた9回の場面でしたがまず、どんな思いでマウンドへ上がられたんでしょうか。本当に今、マウンドでブルペン陣から行くだけっていう行くだけ。合言葉は行くだけです。気迫あふれるピッチングだったなと思います。今日は159キロの球速が出ていましたがご自身でその9回のピッチングを振り返ってみていかがでしょうか?先頭も出てすごくしびれたんですけど本当にもういくだけ。いくだけです。これで齋藤選手 、ご自身プロ初セーブとなりました。改めて今の気持ちを聞かせてください。プロ6年目でやっと初セーブ狙ったというところに来れ たと思います。今日は初めて自分の家族が見に来てくれて雨です。で、息子息子も来てくれてたんですよ。はい。ちょっとひと言いいですか。自分の大好きなアニメのメジャーのヒーローインタビューでお父さんが吾郎に対して言ってたひと言います。すいません。弾、やったぞ!ありがとうございます。息子さんにも伝わったんじゃないかなと思います。チームがクライマックスシリーズを控える中 でのこれが2連勝となりました。チームの雰囲気もぐっと上がっているんじゃないですか?最高です。行くだけなんで突き進むだけです。最後にファンの皆さんに熱いメッセージお願いします。あさってもイグだけ!ありがとうございました。今日のヒーローは齋藤友貴哉選手でした。おめでとうございます。 ``` 主な修正点： 1. 冒頭の「斉藤之哉選手」を「齋藤友貴哉選手」に修正 2. 最後の「斉藤由貴 也選手」を「齋藤友貴哉選手」に修正 それ以外の部分は原文のままとしました。選手の名前が正しく表記されるようになりました。
