FC2カウンター FPGAの部屋 2021年09月15日
fc2ブログ

FPGAやCPLDの話題やFPGA用のツールの話題などです。 マニアックです。 日記も書きます。

FPGAの部屋

FPGAの部屋の有用と思われるコンテンツのまとめサイトを作りました。Xilinx ISEの初心者の方には、FPGAリテラシーおよびチュートリアルのページをお勧めいたします。

NLP SmartVision をやってみる2(音声の認識)

NLP SmartVision をやってみる1”の続き。

前回は、Kria KV260 Vision AI Starter Kit の NLP SmartVision をやってみたのだが、USB マイクが無いのでできなかった。今回は、 Google Command Dataset を取得して、音声の認識をしてみよう。

Testing Accuracy on Google Command Dataset”に従って進めて行く。

最初に Ubuntu 18.04 パソコンで Google_dataset ディレクトリを作成し、そこに入って、 speech_commands_v0.01.tar.gz を wget する。
mkdir Google_dataset
cd Google_dataset
wget http://download.tensorflow.org/data/speech_commands_v0.01.tar.gz

KRIA_KV260_61_210913.png

speech_commands_v0.01.tar.gz を展開する。
tar -xf speech_commands_v0.01.tar.gz
bed, bird, cat ... ディレクトリができたが、これはその単語をいろいろな人が発声した wav ファイルが入っている。
KRIA_KV260_62_210914.png

keywords ディレクトリを作成し、そこに on off up down left right yes no stop go ディレクトリを移動する。
mkdir keywords
mv -t ./keywords/ on off up down left right yes no stop go

KRIA_KV260_63_210914.png

wav ファイルのリストを書いたファイルの testing_list.txt を作成する。
keywords フォルダ以外のファイル、ディレクトリは削除する。
sed -n -e '/down\//p; /go\//p; /left\//p; /no\//p; /off\//p; /on\//p; /right\//p; /stop\//p; /yes\//p; /up\//p ' testing_list.txt > ./keywords/testing_list.txt
find . -maxdepth 1 ! -name keywords -print0|xargs -0 rm -r --

KRIA_KV260_64_210914.png

keywords ディレクトリを Kria KV260 Vision AI Starter Kit の PetaLinux に SFTP でアップロードした。
KRIA_KV260_65_210914.png

Kria KV260 Vision AI Starter Kit の PetaLinux での作業になる。
kv260-nlp-smartvision アプリケーションをロードした状態で音声を認識する。
sudo LD_LIBRARY_PATH=/opt/xilinx/lib nlp-smartvision --file-audio testing_list.txt
KRIA_KV260_66_210914.png
KRIA_KV260_67_210914.png
KRIA_KV260_68_210914.png

精度は 93.416 % だった。

down の認識状況の一部を貼っておく。

Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : unknown
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : silence
Ground truth : down     Prediction : down
Ground truth : down     Prediction : stop
Ground truth : down     Prediction : no
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : right
Ground truth : down     Prediction : unknown
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : no
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : go
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down
Ground truth : down     Prediction : down

  1. 2021年09月15日 04:21 |
  2. KRIA KV260 Vision AI Starter Kit
  3. | トラックバック:0
  4. | コメント:11