Genasys ZU で Adam Taylor さんの”High Performance Imaging”をやってみる9（ディスプレイに出力できない）

”Genasys ZU で Adam Taylor さんの”High Performance Imaging”をやってみる8（マイナス・スラックを解消する）”の続き。

ラプラシアン・フィルタを”High Performance Imaging”の Vivado 2019.1 プロジェクトに追加し、前回はそのマイナス・スラックを解消した。今回は、実機で動作を確認したが、動作しなかった。昨日中、いろいろと試していたのだが、動作しなかった。

最初にやることは、AXI4-Stream Switch IP の設定を行って、ラプラシアン・フィルタを通さずにスルーにして、画像がDisplayPort に出力されるか見ることだ。
まずは、 xparameters.h を見た。AXIS_SWITCH を探した。


AXIS_SWITCH_0 も AXIS_SWITCH_1 もアドレスマップされている。
AXIS_SWITCH_0 から AXIS_SWITCH_1 にスルーになるように設定した。

     // axis_switch0
     Xil_Out32(((uint32_t)XPAR_AXIS_SWITCH_0_BASEADDR+(uint32_t)0x40), 0);
     Xil_Out32(((uint32_t)XPAR_AXIS_SWITCH_0_BASEADDR+(uint32_t)0x44), 0x80000000);
     Xil_Out32(XPAR_AXIS_SWITCH_0_BASEADDR, 0x2); // Comit registers

     // axis_switch1
     Xil_Out32(((uint32_t)XPAR_AXIS_SWITCH_1_BASEADDR+(uint32_t)0x40), 0);
     Xil_Out32(XPAR_AXIS_SWITCH_1_BASEADDR, 0x2); // Comit registers

これで、ディスプレイにカメラ画像を出力できなかった。

Vivado Analyzer を使用して、データを見たところ、v_gamma_lut_0 の m_axis_video 出力と同じデータが axis_switch_0 と axis_switch_1 に流れているのが確認できた。


また ila を追加して、PS の dp_live_video_in にデータが流れているが確認できたが、やはりディスプレイに出力できない。

追加した axis_switch_0 と axis_switch_1 、ラプラシアン・フィルタ IP を除けば、カメラ画像をディスプレイに出力することができている。とっても謎だ？

ラプラシアン・フィルタ IP をスルー出力できるように変更して、ガンマ補正 IP と VDMA の間に入れてみたが、やはりダメだった。
現在は、ラプラシアン・フィルタ IP を VDMA の後に入れて見たが、やはり、同様にディスプレイにカメラ画像が出力できなかった。

現在のラプラシアン・フィルタ IP のソースコードを示す。

// lap_filter_RBG10.cpp
// 2020/08/24 by marsee
// RBG 10ビットずつ
// 2020/08/30: 引数に pass を追加。pass = 0 の時入力をスルー出力する
//

#include <stdio.h>
#include <string.h>
#include <ap_int.h>
#include <hls_stream.h>
#include <ap_axi_sdata.h>

#include "lap_filter_RBG10.h"

int laplacian_fil(int x0y0, int x1y0, int x2y0, int x0y1, int x1y1, int x2y1, int x0y2, int x1y2, int x2y2);
int conv_rgb2y(int rgb);

int lap_filter_rbg10(hls::stream<ap_axis<32,1,1,1> >& ins, hls::stream<ap_axis<32,1,1,1> >& outs, int pass){
#pragma HLS INTERFACE s_axilite port=pass
#pragma HLS INTERFACE axis register both port=ins
#pragma HLS INTERFACE axis register both port=outs
#pragma HLS INTERFACE s_axilite port=return

    ap_axis<32,1,1,1> pix;
    ap_axis<32,1,1,1> lap;

    unsigned int line_buf[2][HORIZONTAL_PIXEL_WIDTH];
#pragma HLS array_partition variable=line_buf block factor=2 dim=1
#pragma HLS resource variable=line_buf core=RAM_2P

    int pix_mat[3][3];
#pragma HLS array_partition variable=pix_mat complete

    int lap_fil_val;

    Loop1 : do {    // user が 1になった時にフレームがスタートする
#pragma HLS LOOP_TRIPCOUNT min=1 max=1 avg=1
        ins >> pix;
    } while(pix.user == 0);

    Loop2 : for (int y=0; y<VERTICAL_PIXEL_WIDTH; y++){
        Loop3 : for (int x=0; x<HORIZONTAL_PIXEL_WIDTH; x++){
#pragma HLS PIPELINE II=1
            if (!(x==0 && y==0))    // 最初の入力はすでに入力されている
                ins >> pix; // AXI4-Stream からの入力

            Loop4 : for (int k=0; k<3; k++){
                Loop5 : for (int m=0; m<2; m++){
#pragma HLS UNROLL
                    pix_mat[k][m] = pix_mat[k][m+1];
                }
            }
            pix_mat[0][2] = line_buf[0][x];
            pix_mat[1][2] = line_buf[1][x];

            int y_val = conv_rgb2y(pix.data);
            pix_mat[2][2] = y_val;

            line_buf[0][x] = line_buf[1][x];    // 行の入れ替え
            line_buf[1][x] = y_val;

            lap_fil_val = laplacian_fil(    pix_mat[0][0], pix_mat[0][1], pix_mat[0][2],
                                            pix_mat[1][0], pix_mat[1][1], pix_mat[1][2],
                                            pix_mat[2][0], pix_mat[2][1], pix_mat[2][2]);
            lap.data = (lap_fil_val<<20)+(lap_fil_val<<10)+lap_fil_val; // RBG同じ値を入れる

            if (x<2 || y<2) // 最初の2行とその他の行の最初の2列は無効データなので0とする
                lap.data = 0;

            if (x==0 && y==0) // 最初のデータでは、TUSERをアサートする
                lap.user = 1;
            else
                lap.user = 0;

            if (x == (HORIZONTAL_PIXEL_WIDTH-1))    // 行の最後で TLAST をアサートする
                lap.last = 1;
            else
                lap.last = 0;

            if (pass == 0){ // 画像をそのまま出力
                lap.data = pix.data;
                lap.last = pix.last;
                lap.user = pix.user;
            }

            outs << lap;    // AXI4-Stream へ出力
        }
    }

    return 0;
}

// RGBからYへの変換
// RGBのフォーマットは、{8'd0, R(8bits), G(8bits), B(8bits)}, 1pixel = 32bits
// 輝度信号Yのみに変換する。変換式は、Y =  0.299R + 0.587G + 0.114B
// "YUVフォーマット及び YUV<->RGB変換"を参考にした。http://vision.kuee.kyoto-u.ac.jp/~hiroaki/firewire/yuv.html
//　2013/09/27 : float を止めて、すべてint にした
// 2020/08/24 : RBG 10ビットずつとした
int conv_rgb2y(int rgb){
    int r, g, b, y_f;
    int y;

    g = rgb & 0x3ff;
    b = (rgb>>10) & 0x3ff;
    r = (rgb>>20) & 0x3ff;

    y_f = 306*r + 601*g + 117*b; //y_f = 0.299*r + 0.587*g + 0.114*b;の係数に1024倍した
    y = y_f >> 10; // 1024で割る

    return(y);
}

// ラプラシアンフィルタ
// x0y0 x1y0 x2y0 -1 -1 -1
// x0y1 x1y1 x2y1 -1  8 -1
// x0y2 x1y2 x2y2 -1 -1 -1
int laplacian_fil(int x0y0, int x1y0, int x2y0, int x0y1, int x1y1, int x2y1, int x0y2, int x1y2, int x2y2)
{
    int y;

    y = -x0y0 -x1y0 -x2y0 -x0y1 +8*x1y1 -x2y1 -x0y2 -x1y2 -x2y2;
    if (y<0)
        y = -y;
    else if (y>1023)
        y = 1023;
    return(y);
}

なお、カメラ画像は 1280 x 720 の画像だったので、ヘッダファイルを変更している。

// lap_filter_RBG10.h
// 2020/08/24 by marsee
//

#define HORIZONTAL_PIXEL_WIDTH 1280
#define VERTICAL_PIXEL_WIDTH 720

//#define HORIZONTAL_PIXEL_WIDTH 64
//#define VERTICAL_PIXEL_WIDTH 48

#define ALL_PIXEL_VALUE (HORIZONTAL_PIXEL_WIDTH*VERTICAL_PIXEL_WIDTH)

SDK での ラプラシアン・フィルタ IP の制御用コードを示す。

    XLap_filter_rbg10 lap_f_rbg10;
    XLap_filter_rbg10_Initialize(&lap_f_rbg10, 0);
    XLap_filter_rbg10_Set_pass(&lap_f_rbg10, 0); // 通過
    XLap_filter_rbg10_Start(&lap_f_rbg10);
    XLap_filter_rbg10_EnableAutoRestart(&lap_f_rbg10);

ラプラシアン・フィルタ IP の部分のブロックデザインを示す。
VDMA のすぐ後に入れてある。