FC2カウンター FPGAの部屋 Vitis Unified IDE 2023.2 でラプラシアン・フィルタの laplacian_axis_RGB24 を実装する1
fc2ブログ

FPGAやCPLDの話題やFPGA用のツールの話題などです。 マニアックです。 日記も書きます。

FPGAの部屋

FPGAの部屋の有用と思われるコンテンツのまとめサイトを作りました。Xilinx ISEの初心者の方には、FPGAリテラシーおよびチュートリアルのページをお勧めいたします。

Vitis Unified IDE 2023.2 でラプラシアン・フィルタの laplacian_axis_RGB24 を実装する1

Vitis Unified IDE 2023.2 でラプラシアン・フィルタの laplacian_axis_RGB24 を実装してみよう。

Vitis Unified IDE 2023.2 で laplacian_axis_RGB24 プロジェクトを作成する。

Vitis Unified IDE 2023.2 で File メニューから New Component -> HLS を選択して、ZUBoard 1CG 用の laplacian_axis_RGB24 プロジェクトを作成した。

ソースコード、テストベンチのファイルは laplacian_axis_RGB24 プロジェクトのファイルを追加した。

最初に、VITIS COMPONENT -> laplacian_axis_RGB24 -> Settings -> hls_config.cfg をクリックし、設定を行った。
C Sythesis sourcestoplaplacian_axis_RGB24 を設定した。これは、C コードの合成時にハードウェアとする関数を指定する。
Testbench sourcesCFLAGS-I/usr/local/include を指定した。
C Simulationldflags-L/usr/local/lib -lopencv_core -lopencv_imgcodecs -lopencv_imgproc を指定した。

ソースコードに laplacian_axis_RGB24.h と laplacian_axis_RGB24.cpp を追加した。
テストベンチに laplacian_axis_RGB24_tb.cpp と test2.jpg を追加した。
zub1cg_i7filters_96_231128.png

ヘッダ・ファイルの laplacian_axis_RGB24.h を示す。

// laplacian_axis_RGB24.h
// 2023/11/27 by marsee
//

#ifndef __LAPLACIAN_AXIS_RGB24_H__
#define __LAPLACIAN_AXIS_RGB24_H__

#define ORG_IMGwAxiVdma 0
#define LAPLACIANwAxiVdma 1
#define ORG_IMGwAxiDma 2
#define LAPLACIANwAxiDma 3

#endif


ソースコードの laplacian_axis_RGB24.cpp を示す。

// laplacian_axis_RGB24.cpp
// 2023/11/27 by marsee
//

#include <stdint.h>
#include <ap_int.h>
#include <hls_stream.h>
#include <ap_axi_sdata.h>

#include "laplacian_axis_RGB24.h"

ap_int<32> laplacian_fil(ap_int<32> x0y0, ap_int<32> x1y0, ap_int<32> x2y0, ap_int<32> x0y1,
        ap_int<32> x1y1, ap_int<32> x2y1, ap_int<32> x0y2, ap_int<32> x1y2, ap_int<32> x2y2);
ap_int<32> conv_rbg2y(ap_int<32> rbg);

int laplacian_axis_RGB24(hls::stream<ap_axiu<24,1,1,1> >& ins,
        hls::stream<ap_axiu<24,1,1,1> >& outs, int32_t function,
        int32_t row_size, int32_t col_size){
#pragma HLS INTERFACE mode=s_axilite port=col_size
#pragma HLS INTERFACE mode=s_axilite port=row_size
#pragma HLS INTERFACE mode=s_axilite port=function
#pragma HLS INTERFACE mode=axis register_mode=both port=outs register
#pragma HLS INTERFACE mode=axis register_mode=both port=ins register
#pragma HLS INTERFACE mode=s_axilite port=return

    ap_axiu<24,1,1,1> pix;
    ap_axiu<24,1,1,1> laplacian;
    ap_int<32> laplacian_val;

    ap_int<32> line_buf[2][1920]; // Up to HD resolution
#pragma HLS array_partition variable=line_buf block factor=2 dim=1

    ap_int<32> pix_mat[3][3];
#pragma HLS array_partition variable=pix_mat complete

    LOOP_WAIT_USER : do {   // user が 1になった時にフレームがスタートする
#pragma HLS LOOP_TRIPCOUNT min=1 max=1 avg=1
        ins >> pix;
        if(function==ORG_IMGwAxiDma || function==LAPLACIANwAxiDma)
            break;
    } while(pix.user == 0);

    LOOP_Y: for(int y=0; y<row_size; y++){
#pragma HLS LOOP_TRIPCOUNT avg=600 max=1080 min=48
        LOOP_X: for(int x=0; x<col_size; x++){
#pragma HLS LOOP_TRIPCOUNT avg=800 max=1920 min=64
#pragma HLS PIPELINE II=1
            if (!(x==0 && y==0))    // 最初の入力はすでに入力されている
                ins >> pix; // AXI4-Stream からの入力

            LOOP_PIX_MAT_K: for(int k=0; k<3; k++){
                LOOP_PIX_MAT_M: for(int m=0; m<2; m++){
                    pix_mat[k][m] = pix_mat[k][m+1];
                }
            }
            pix_mat[0][2] = line_buf[0][x];
            pix_mat[1][2] = line_buf[1][x];
            ap_int<32> y_val = conv_rbg2y(pix.data);
            pix_mat[2][2] = y_val;

            line_buf[0][x] = line_buf[1][x];    // 行の入れ替え
            line_buf[1][x] = y_val;

            laplacian_val = laplacian_fil(pix_mat[0][0], pix_mat[0][1], pix_mat[0][2],
                                                pix_mat[1][0], pix_mat[1][1], pix_mat[1][2],
                                                pix_mat[2][0], pix_mat[2][1], pix_mat[2][2]);
            laplacian.data = (laplacian_val<<16)+(laplacian_val<<8)+laplacian_val;

            if(x<2 || y<2)
                laplacian.data = 0;

            if(function==ORG_IMGwAxiVdma || function == LAPLACIANwAxiVdma){
                if(x==0 && y==0) // 最初のピクセル
                    laplacian.user = 1;
                else
                    laplacian.user = 0;
                if(x == (col_size-1)) // 行の最後
                    laplacian.last = 1;
                else
                    laplacian.last = 0;
            }else{
                laplacian.user = 0;
                laplacian.last = pix.last;
            }
            laplacian.keep = 0x7;
            laplacian.strb = 0x7;
            if(function==LAPLACIANwAxiVdma || function==LAPLACIANwAxiDma)
                outs << laplacian;
            else
                outs << pix;
        }
    }
    return(0);
}

// RBGからYへの変換
// RBGのフォーマットは、{R(8bits), G(8bits), B(8bits)}, 1pixel = 32bits
// 輝度信号Yのみに変換する。変換式は、Y =  0.299R + 0.587G + 0.114B
// "YUVフォーマット及び YUV<->RGB変換"を参考にした。http://vision.kuee.kyoto-u.ac.jp/~hiroaki/firewire/yuv.html
// 2013/09/27 : float を止めて、すべてint にした
ap_int<32> conv_rbg2y(ap_int<32> rbg){
    ap_int<32> r, g, b, y_f;
    ap_int<32> y;

    b = rbg & 0xff;
    g = (rbg>>8) & 0xff;
    r = (rbg>>16) & 0xff;

    y_f = 77*r + 150*g + 29*b; //y_f = 0.299*r + 0.587*g + 0.114*b;の係数に256倍した
    y = y_f >> 8; // 256で割る

    return(y);
}

// laplacian filter
//
// x0y0 x1y0 x2y0  1  1  1
// x0y1 x1y1 x2y1  1 -8  1
// x0y2 x1y2 x2y2  1  1  1
ap_int<32> laplacian_fil(ap_int<32> x0y0, ap_int<32> x1y0, ap_int<32> x2y0, ap_int<32> x0y1,
        ap_int<32> x1y1, ap_int<32> x2y1, ap_int<32> x0y2, ap_int<32> x1y2, ap_int<32> x2y2){
    ap_int<32> y;

    y = x0y0 + x1y0 + x2y0 +
        x0y1 +(-8 * x1y1) + x2y1 +
        x0y2 + x1y2 + x2y2;
        
    if(y<0)
        y = -y;
        //y = 0;
    else if(y>255) // 8 bits
        y = 255;
    return(y);
}


テストベンチの laplacian_axis_RGB24_tb.cpp を示す。

// laplacian_axis_RGB24_tb.cpp
// 2023/11/27 by marsee
// LAPLACIANwXilinxVideoStandard を define すると axi_vdma 用となり、コメントアウトすると axi_dma 用になる
//

#include <stdio.h>
#include <stdint.h>
#include <ap_int.h>
#include <hls_stream.h>
#include <ap_axi_sdata.h>
#include "opencv2/opencv.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgcodecs/imgcodecs.hpp"

#include "laplacian_axis_RGB24.h"

#define LAPLACIANwXilinxVideoStandard

int laplacian_axis_RGB24(hls::stream<ap_axiu<24,1,1,1> >& ins,
        hls::stream<ap_axiu<24,1,1,1> >& outs, int32_t function,
        int32_t row_size, int32_t col_size);
int laplacian_axis_RGB24_soft(hls::stream<ap_axiu<24,1,1,1> >& ins,
        hls::stream<ap_axiu<24,1,1,1> >& outs, int32_t function,
        int32_t row_size, int32_t col_size);
ap_int<32> laplacian_fil_soft(ap_int<32> x0y0, ap_int<32> x1y0, ap_int<32> x2y0, ap_int<32> x0y1,
        ap_int<32> x1y1, ap_int<32> x2y1, ap_int<32> x0y2, ap_int<32> x1y2, ap_int<32> x2y2);
ap_int<32> conv_rbg2y_soft(ap_int<32> rbg);

const char INPUT_JPG_FILE[] = "test2.jpg";
const char OUTPUT_JPG_FILE[] = "laplacian.jpg";
const char ORG_OUT_JPG_FILE[] = "org.jpg";

int main(){
    hls::stream<ap_axiu<24,1,1,1> > ins, ins2;
    hls::stream<ap_axiu<24,1,1,1> > ins_soft;
    hls::stream<ap_axiu<24,1,1,1> > outs, outs2;
    hls::stream<ap_axiu<24,1,1,1> > outs_soft;
    ap_axiu<24,1,1,1> pix;
    ap_axiu<24,1,1,1> vals, vals_soft;

    // JPG ファイルをMat に読み込む
    cv::Mat img = cv::imread(INPUT_JPG_FILE);

    // ピクセルを入れる領域の確保
    std::vector<int32_t> rd_bmp(sizeof(int32_t)*img.cols*img.rows);
    std::vector<int32_t> hw_laplacian(sizeof(int32_t)*(img.cols)*(img.rows));
    std::vector<int32_t> sw_laplacian(sizeof(int32_t)*(img.cols)*(img.rows));

    // rd_bmp にJPGのピクセルを代入
    cv::Mat_<cv::Vec3b> dst_vec3b = cv::Mat_<cv::Vec3b>(img);
    for (int y=0; y<img.rows; y++){
        for (int x=0; x<img.cols; x++){
            cv::Vec3b pixel;
            pixel = dst_vec3b(y,x);
            rd_bmp[y*img.cols+x] = (pixel[0] & 0xff) | ((pixel[1] & 0xff)<<8) | ((pixel[2] & 0xff)<<16); // RGB 8 bits
            // blue - pixel[0]; green - pixel[1]; red - pixel[2];
        }
    }

#ifdef LAPLACIANwXilinxVideoStandard
    // ins に入力データを用意する
    for(int i=0; i<5; i++){ // dummy data
        pix.user = 0;
        pix.data = i;
        pix.last = 0;
        pix.user = 0;
        pix.keep = 0x7;
        pix.strb = 0x7;

        ins << pix;
        ins2 << pix;
        ins_soft << pix;
    }
#endif

    for(int j=0; j < img.rows; j++){
        for(int i=0; i < img.cols; i++){
            pix.data = (ap_int<32>)rd_bmp[(j*img.cols)+i];
#ifdef LAPLACIANwXilinxVideoStandard
            if (j==0 && i==0)   // 最初のデータの時に TUSER を 1 にする
                pix.user = 1;
            else
                pix.user = 0;

            if (i == img.cols-1) // 行の最後でTLASTをアサートする
                pix.last = 1;
            else
                pix.last = 0;
#else
            if(j==img.rows-1 && i==img.cols-1)
                pix.last = 1;
            else
                pix.last = 0;
            pix.user = 0;
#endif
            pix.keep = 0x7;
            pix.strb = 0x7;

            ins << pix;
            ins2 << pix;
            ins_soft << pix;
        }
    }

#ifdef LAPLACIANwXilinxVideoStandard
    laplacian_axis_RGB24(ins, outs, LAPLACIANwAxiVdma, img.rows, img.cols); // ハードウェアのラプラシアンフィルタ
    laplacian_axis_RGB24_soft(ins_soft, outs_soft, LAPLACIANwAxiVdma, img.rows, img.cols); // ソフトウェアのラプラシアンフィルタ
#else
    laplacian_axis_RGB24(ins, outs, LAPLACIANwAxiDma, img.rows, img.cols); // ハードウェアのラプラシアンフィルタ
    laplacian_axis_RGB24_soft(ins_soft, outs_soft, LAPLACIANwAxiDma, img.rows, img.cols); // ソフトウェアのラプラシアンフィルタ
#endif

    // ハードウェアとソフトウェアのラプラシアンフィルタの値のチェック
    for (int y=0; y<img.rows; y++){
        for (int x=0; x<img.cols; x++){
            outs >> vals;
            ap_uint<32> val = vals.data;
            hw_laplacian[y*img.cols+x] = (int32_t)val;
            outs_soft >> vals_soft;
            ap_uint<32> val_soft = vals_soft.data;
            if (val != val_soft){
                printf("ERROR HW and SW results mismatch x = %ld, y = %ld, HW = %x, SW = %x\n",
                        x, y, val, val_soft);
                return(1);
            }
        }
    }
    printf("Success HW and SW results match\n");

    const int laplacian_row = img.rows;
    const int laplacian_cols = img.cols;
    cv::Mat wbmpf(laplacian_row, laplacian_cols, CV_8UC3);
    // wbmpf にlaplacian フィルタ処理後の画像を入力
    cv::Mat_<cv::Vec3b> sob_vec3b = cv::Mat_<cv::Vec3b>(wbmpf);
    for (int y=0; y<wbmpf.rows; y++){
        for (int x=0; x<wbmpf.cols; x++){
            cv::Vec3b pixel;
            pixel = sob_vec3b(y,x);
            int32_t rbg = hw_laplacian[y*wbmpf.cols+x];
            pixel[0] = (rbg & 0xff); // blue
            pixel[1] = ((rbg >> 8) & 0xff); // green
            pixel[2] = ((rbg >> 16) & 0xff); // red
            sob_vec3b(y,x) = pixel;
        }
    }

    // ハードウェアのラプラシアンフィルタの結果を jpg ファイルへ出力する
    cv::imwrite(OUTPUT_JPG_FILE, wbmpf);
#ifdef LAPLACIANwXilinxVideoStandard
    laplacian_axis_RGB24(ins2, outs2, ORG_IMGwAxiVdma, img.rows, img.cols); // 元画像出力
#else
    laplacian_axis_RGB24(ins2, outs2, ORG_IMGwAxiDma, img.rows, img.cols); // 元画像出力
#endif

    cv::Mat wbmpf2(laplacian_row, laplacian_cols, CV_8UC3);
    // wbmpf2 に元画像を入力
    sob_vec3b = cv::Mat_<cv::Vec3b>(wbmpf2);
    for (int y=0; y<wbmpf.rows; y++){
        for (int x=0; x<wbmpf.cols; x++){
            cv::Vec3b pixel;
            pixel = sob_vec3b(y,x);
            outs2 >> vals;
            int32_t val = vals.data;
            pixel[0] = (val & 0xff); // blue
            pixel[1] = ((val >> 8) & 0xff); // green
            pixel[2] = ((val >> 16) & 0xff); // red
            sob_vec3b(y,x) = pixel;
        }
    }

    // 元画像を jpg ファイルへ出力する
    cv::imwrite(ORG_OUT_JPG_FILE, wbmpf2);

    return(0);
}

int laplacian_axis_RGB24_soft(hls::stream<ap_axiu<24,1,1,1> >& ins,
        hls::stream<ap_axiu<24,1,1,1> >& outs, int32_t function,
        int32_t row_size, int32_t col_size){

    ap_axiu<24,1,1,1> pix;
    ap_axiu<24,1,1,1> laplacian;
    ap_int<32> laplacian_val;

    ap_int<32> line_buf[2][1920]; // Up to HD resolution

    ap_int<32> pix_mat[3][3];

    do {   // user が 1になった時にフレームがスタートする
        ins >> pix;
        if(function==ORG_IMGwAxiDma || function==LAPLACIANwAxiDma)
            break;
    } while(pix.user == 0);

    for(int y=0; y<row_size; y++){
        for(int x=0; x<col_size; x++){
            if (!(x==0 && y==0))    // 最初の入力はすでに入力されている
                ins >> pix; // AXI4-Stream からの入力

            LOOP_PIX_MAT_K: for(int k=0; k<3; k++){
                LOOP_PIX_MAT_M: for(int m=0; m<2; m++){
                    pix_mat[k][m] = pix_mat[k][m+1];
                }
            }
            pix_mat[0][2] = line_buf[0][x];
            pix_mat[1][2] = line_buf[1][x];
            ap_int<32> y_val = conv_rbg2y_soft(pix.data);
            pix_mat[2][2] = y_val;

            line_buf[0][x] = line_buf[1][x];    // 行の入れ替え
            line_buf[1][x] = y_val;

            laplacian_val = laplacian_fil_soft(pix_mat[0][0], pix_mat[0][1], pix_mat[0][2],
                                                pix_mat[1][0], pix_mat[1][1], pix_mat[1][2],
                                                pix_mat[2][0], pix_mat[2][1], pix_mat[2][2]);
            laplacian.data = (laplacian_val<<16)+(laplacian_val<<8)+laplacian_val;

            if(x<2 || y<2)
                laplacian.data = 0;

            if(function==ORG_IMGwAxiVdma || function == LAPLACIANwAxiVdma){
                if(x==0 && y==0) // 最初のピクセル
                    laplacian.user = 1;
                else
                    laplacian.user = 0;
                if(x == (col_size-1)) // 行の最後
                    laplacian.last = 1;
                else
                    laplacian.last = 0;
            }else{
                laplacian.user = 0;
                laplacian.last = pix.last;
            }
            laplacian.keep = 0x7;
            laplacian.strb = 0x7;
            if(function==LAPLACIANwAxiVdma || function==LAPLACIANwAxiDma)
                outs << laplacian;
            else
                outs << pix;
        }
    }
    return(0);
}

// RBGからYへの変換
// RBGのフォーマットは、{R(8bits), G(8bits), B(8bits)}, 1pixel = 32bits
// 輝度信号Yのみに変換する。変換式は、Y =  0.299R + 0.587G + 0.114B
// "YUVフォーマット及び YUV<->RGB変換"を参考にした。http://vision.kuee.kyoto-u.ac.jp/~hiroaki/firewire/yuv.html
// 2013/09/27 : float を止めて、すべてint にした
ap_int<32> conv_rbg2y_soft(ap_int<32> rbg){
    ap_int<32> r, g, b, y_f;
    ap_int<32> y;

    b = rbg & 0xff;
    g = (rbg>>8) & 0xff;
    r = (rbg>>16) & 0xff;

    y_f = 77*r + 150*g + 29*b; //y_f = 0.299*r + 0.587*g + 0.114*b;の係数に256倍した
    y = y_f >> 8; // 256で割る

    return(y);
}

// laplacian filter
//
// x0y0 x1y0 x2y0  1  1  1
// x0y1 x1y1 x2y1  1 -8  1
// x0y2 x1y2 x2y2  1  1  1
ap_int<32> laplacian_fil_soft(ap_int<32> x0y0, ap_int<32> x1y0, ap_int<32> x2y0, ap_int<32> x0y1,
        ap_int<32> x1y1, ap_int<32> x2y1, ap_int<32> x0y2, ap_int<32> x1y2, ap_int<32> x2y2){
    ap_int<32> y;

    y = x0y0 + x1y0 + x2y0 +
        x0y1 +(-8 * x1y1) + x2y1 +
        x0y2 + x1y2 + x2y2;
        
    if(y<0)
        y = -y;
        //y = 0;
    else if(y>255) // 8 bits
        y = 255;
    return(y);
}


test2.jpg を示す。
zub1cg_i7filters_97_231128.jpg
  1. 2023年11月28日 04:19 |
  2. Vitis HLS
  3. | トラックバック:0
  4. | コメント:0

コメント

コメントの投稿


管理者にだけ表示を許可する

トラックバック URL
https://marsee101.blog.fc2.com/tb.php/6108-b671480d
この記事にトラックバックする(FC2ブログユーザー)