FC2カウンター FPGAの部屋 2021年07月15日
fc2ブログ

FPGAやCPLDの話題やFPGA用のツールの話題などです。 マニアックです。 日記も書きます。

FPGAの部屋

FPGAの部屋の有用と思われるコンテンツのまとめサイトを作りました。Xilinx ISEの初心者の方には、FPGAリテラシーおよびチュートリアルのページをお勧めいたします。

”Deploying the Dobble Challenge on the Ultra96-V2”をやってみる3

”Deploying the Dobble Challenge on the Ultra96-V2”をやってみる2”の続き。

前回は、”Deploying the Dobble Challenge on the Ultra96-V2”を見ながら、パソコンでの作業が終了するまでやってみた。つまり、フリーズグラフの量子化、量子化モデルの評価、量子化モデルのコンパイル、ボード上で実行するために必要なすべてのファイルを./build/targetフォルダにコピーを行った。
今回は、”Deploying the Dobble Challenge on the Ultra96-V2”の残り、 ./build/targetフォルダの内容を Ultra96V2 にコピーして、Ultra96V2 に接続した USB カメラで Dobble を認識してみよう。

Ultra96V2 の MicroSD カードは””Vitis-AI 1.3 Flow for Avnet VITIS Platforms”をやってみる1”で作った MicroSD カードで問題ない。つまり、今まで使ってきた MicroSD カードを使用できる。

Ultra96V2 をブートして、パソコンのUbuntu 18.04 の端末からログインした。
ssh <IPアドレス> -X -l root
今回の Dobble 用の環境設定ファイル initset2.sh を作成する。
Dobble_57_210713.png

initset2.sh を作成した。
Dobble_58_210713.png

dmesg -D
cd dpu_sw_optimize/zynqmp
./zynqmp_dpu_optimize.sh
export DISPLAY=:0.0
xrandr --output DP-1 --mode 640x480


initset2.sh を実行した。
source initset2.sh
Dobble_59_210713.png

パソコンの ./build/targetフォルダの内容を Ultra96V2 にコピーするために、USB-LAN アダプタでネットワーク接続されているので、FileZilla を使って SFTP で Ultra96V2 にアップロードした。
Dobble_60_210713.png

コピーされた target_B2304_LR ディレクトリに入って、 app_mt.py を実行して、精度を確かめた。
python3 app_mt.py
Dobble_61_210713.png

精度は 97 % で 75.88 FPS だった。

app_mt.py を 5 スレッドで実行する。
python3 app_mt.py -t 5
Dobble_62_210713.png

精度は同じ 97 % で 96.46 FPS だった。 FPS が向上している。

USB カメラを使用して、実際に Dobble を認識してみよう。
Dobble は””The Dobble Challenge”をやってみる2”でダウンロードした dobble_dataset ディレクトリの dobble_deck01.png を拡大印刷して切り取ったものを使用した。

python3 dobble_detect_live.py
を実行すると、 USB カメラがアクティブになって、カメラの内容がウインドウに表示された。
先程印刷して、一枚一枚切り取った紙片をカメラに近づけると認識した。
Dobble_63_210713.png
Dobble_64_210713.png
Dobble_65_210713.jpg

27 番と認識された。合っている。
なお、当然だが、距離により誤認識することがあるが、この大きさだと安定している。

もう 1 つ認識させてみた。
Dobble_66_210713.jpg

15 番と認識された。これも合っている。成功した。

ここまで、Keras のモデルを作成して、Keras のモデルを TensorFlow のモデルに変換し、量子化した。それを Ultra96V2 に持っていって実機で動作させるという一連の Vitis-AI の実装方法を体験できたのは良かった。
一連のチュートリアルに感謝したい。
  1. 2021年07月15日 04:56 |
  2. Vitis-AI
  3. | トラックバック:0
  4. | コメント:0