”
Spartan-6のPCIe Endpoint Block IPの勉強６（pio_writeReadBack_test1その４） ”の続き。
9. 送信TLP。コンフィギュレーション・ライト・リクエスト。5番レジスタへのWrite。5番目のレジスタはベースアドレス1なので、オール1を書いて、どのくらいの領域を要求しているかを見ている部分だろう？
10. 送信TLP。5番レジスタに対するコンフィギュレーション・リード・リクエスト。これは、どのくらいの領域を要求しているかをリードする。5番目のレジスタはベースアドレス・レジスタ1だ。
11. 受信TLP。タグ番号0x02なので、9. のコンフィギュレーション・ライト・リクエスト対するコンプリーションだ。コンフィギュレーション・ライト・リクエストが成功しているというお知らせ。
12. 受信TLP。10.のコンフィギュレーション・リード・リクエストに対するコンプリーション。値は0x00000000。すべてが0なので、ベースアドレスレジスタ1はディスエーブルとなる。
13. その後、レジスタ番号6～9（ベースアドレス・レジスタ2～5）に0xffffffffをWriteして、Readしたら0x00000000が帰ってきて、ディスエーブルされていることがわかった。その後、レジスタ番号0x0C（拡張ROMベースアドレス）を同様に調査して、0x00000000が帰ってきてディスエーブルされていることがわかった。これでベースアドレス関連のレジスタはすべて調べたことになる。これは
PCIのコンフィギュレーションのやり方 と同じだ。
14. 送信TLP。コンフィギュレーション・ライト・リクエスト。4番レジスタへのWrite。ベースアドレス0のみ有効なので、そこにアドレスを書いていると思われる。オール0を書いているので、0番地から1Mバイトマップされる。
15. 送信TLP。5番レジスタ（ベースアドレス1）へオール0を書いている。ディスエーブルとわかっていてもオール0を書くんだ？その後、残りのベースアドレス全部と拡張ROMベース・アドレスにオール0を書き込んでいる（多分、途中は確かめてないけど）。その間にもコンフィギュレーション・ライト・リクエストのコンプリーションは帰ってきている。
16. 送信TLP。コンフィギュレーション・ライト・リクエスト。レジスタ番号1番への書き込み。レジスタ番号1番はステータス・レジスタとコマンド・レジスタだ。コマンド・レジスタへ0x0003を書き込んでいる。これは、メモリ空間とI/O空間に対するアクセスを有効化するビットを1にしている。
17. 送信TLP。コンフィギュレーション・ライト・リクエスト。レジスタ番号0x18番への書き込み。つまりコンフィギュレーション・レジスタ0x60番地への書き込み。最下位のバイトに0x5Fを書き込んでいる。これはなんだろう？要調査。
18. その後は、コンフィギュレーション・ライト・リクエストへのコンプリーションが次々着ている。
19. 送信TLP。65.25 usecあたりに0x00000000番地へのメモリ・ライト・リクエストが、データは1バイトずつのリトルエンディアンで0x04030201。これは、
”Spartan-6のPCIe Endpoint Block IPの勉強４（pio_writeReadBack_test1その２） ”でEndPoint側で観測されたパケットでもある。Root Portでメモリ・ライト・リクエストを送ってから、EndPointで受信されるまでに約1usec経過している。
20. 送信TLP。0x00000000番地へのメモリ・リード・リクエスト。
21. 受信TLP。20.の0x00000000番地へのメモリ・リード・リクエストのコンプリーション。受信したデータは、データは1バイトずつのリトルエンディアンで0x04030201で、19.で送ったデータと同一。EndPoint側の記事は、”
Spartan-6のPCIe Endpoint Block IPの勉強５（pio_writeReadBack_test1その３） ”。
これで、pio_writeReadBack_test1は終了。一般的なPCIe EndPointの初期化手順を見てきた気がする。
2010年06月11日 05:26 |
PCI Eｘpress
| トラックバック:0
| コメント:0
”Spartan-6のPCIe Endpoint Block IPの勉強４（pio_writeReadBack_test1その２） ”と”
Spartan-6のPCIe Endpoint Block IPの勉強５（pio_writeReadBack_test1その３） ”で、EndPointのトランザクション・パケットを見てきたが、Root Portのトランザクション・パケット(TLP)を見て行こう。
下に、Root PortのTLPの波形を示す。
1. 最初のRoot Portの送信TLPは、コンフィギュレーション・リード・リクエスト。レジスタ番号0番地のリード。
2. 次は、受信TLP。1.のコンフィギュレーション・リード・リクエストに対応するコンプリーション。レジスタ番号0のデータ。データはee100700。デバイスIDが0x0007、ベンダIDが0x10EE。ここではコンプリータIDは0000。
3. 送信TLP。コンフィギュレーション・リード・リクエスト。レジスタ番号0x17のリード。0x17と言うと0x5C番地のはず。これは、PCIe機能レジスタ？
4. 2.62 usec後に、受信TLP。当然ながら、3.のコンフィギュレーション・リード・リクエストに対応するコンプリーション。レジスタ番号0x17のデータ。データはc28f0000。となると、ルートコントロールが0x8fc2で、ルート機能が0x0000？
5. 送信TLP。コンフィギュレーション・ライト・リクエスト。4番レジスタへのWrite。4番目のレジスタはベースアドレス0なので、オール1を書いて、どのくらいの領域を要求しているかを見ている部分だろう？
コンフィギュレーション・ライト・リクエストのバス番号とデバイス番号をEndPointは記憶するそうだ。
I.Kさん、やはり、コンフィギュレーション・ライト・リクエストのバス番号とデバイス番号は、Root Portと同じでした。このパケットをRoot Portが出力してから、1.14 usec後に、EndPointのcfg_bus_number出力が0x00から0x01に、cfg_function_number出力が0x00から0x14に変化しました。ありがとうございました。
6. また送信TLP。当然ながら、4番レジスタに対するコンフィギュレーション・リード・リクエスト。これは、どのくらいの領域を要求しているかをリードする。
7. 受信TLP。タグ番号0x00なので、5. のコンフィギュレーション・ライト・リクエスト対するコンプリーションだ。5. から2.67 usecかかている。
8. 受信TLP。6. の4番レジスタに対するコンフィギュレーション・リード・リクエストに対応するコンプリーション。送られてきたデータは0x0000f0ff。これを左のビットがMSBに直すと、0xfff00000。つまり、20ビットのアドレス空間があるので、ベースアドレス0は1Mバイトメモリ。
次の記事 に続く。
2010年06月10日 05:33 |
PCI Eｘpress
| トラックバック:0
| コメント:0
PCI Express(PCIe)のトランザクション・パケット解析ソフトができて、PICeのパケットを解析しようと思っているが、素朴な疑問が出てきた。
1. PCIeの初期化はどうやっているのだろうか？PCIバスでは、IDSEL信号があって、FRAME#がアサートされた時にIDSELが1だと、自分へのコンフィギュレーション・アクセスだということが識別できたが、PCIeでは、スイッチを通っているので、スイッチが自分に投げたパケットは自分宛のパケットとして処理して良いということだろうか？
今のところ、2冊のPCIeの日本語の本を見ても書いてないようだ。英語の本を読まないとだめかな？それとも当たり前のだろうか？
さて、疑問は置いといて、”
Spartan-6のPCIe Endpoint Block IPの勉強４（pio_writeReadBack_test1その２） ”で、メモリ・リード・リクエストのパケットがあったので、コンプリーション・パケットがあるはずだ。それを見てみよう。下に、その波形を示す。
このパケットの値は、4a000001 01a00004 01a00a00 04030201 となっている。これをトランザクション・パケット解析ソフトに入れて、解析する。
コンプリーション（データあり）となっている。これはメモリ・リード・リクエストに対するコンプリーションなのでデータはありとなる。タグもメモリ・リード・リクエストと同じ0Aだ。腑に落ちないのは、リクエスタIDとコンプリータIDが01A0で同一ということだ。これは、おかしい気がする。
第４DWはデータで、以前Writeしたデータがそのまま読み出されている。
ちなみに、”
Spartan-6のPCIe Endpoint Block IPの勉強１（シミュレーションでRoot Portの動作を確認） ”では、アクセス先のトランザクションID（バス番号＆デバイス番号＆機能番号）は 01A0だったが、”
Spartan-6のPCIe Endpoint Block IPの勉強２（シミュレーションでRoot Portの動作を確認２） ”では、コンプリータIDが 0000 になっていた。これは同一でないとおかしいと思うのだが、まだコンフィギュレーションの途中ということでトランザクションIDが入っていなかったのだろうか？
次は、pio_writeReadBack_test1でのコンフィギュレーションの様子を観察することにする。
2010年06月09日 05:21 |
PCI Eｘpress
| トラックバック:0
| コメント:2
現在、PCI Expressのトランザクション・パケット解析ソフトをOpenOffice.orgのCalcで作っている。
OpenOffice.orgのCalcの関数は大体EXCELの関数と同じだが、区切りの記号は，から；に変更する必要がある。例えば、IF(A1="";"";"A")となる。
はじめはよく分からないで苦労したが、色々なサイトを参考に大分できてきた。
まずはパケットを解析するにあたってシフトはどうするのか？と思ったが、左シフトは2のｎ乗を掛け、右シフトは2のｎ乗で割っている。その際にINT関数をつけておかないと、浮動小数点演算の丸めの影響で+1されてしまう場合があるようだ。例、INT($A$5/2^20)
マスクはどうやってやるか戸惑ったが、”
Excel で bit演算 ”のサイトを参考にして、マクロで関数を実装することにした。ビット演算を行う関数については、”
OpenOffice.org Basic ”を参考にした。
OpenOffice.orgのCalcのツールメニュー -> マクロ -> マクロの管理 -> OpenOffice.org Basicを選ぶとOpenOffice.org Basicマクロダイアログが出てくる。そのマイマクロに登録してある。
これで、BitANDが使えるのでマスクができる。あまり体裁は良くないが、下のような感じで作っている。現在はコンプリーション・パケット解析を作っている。だいたいこれで、お終いにして、今度はRoot Portの送っているパケットを解析してみよう。
2010年06月08日 05:27 |
PCI Eｘpress
| トラックバック:0
| コメント:0
今回は、pio_writeReadBack_test1でEndPointのTRNインターフェースまで行って、受信したパケットを解析してみる。
TRNインターフェースの送信と受信のインターフェースの波形を下に示す。”
Spartan-6のPCIe Endpoint Block IPの勉強３（pio_writeReadBack_test1その１） ”の波形の黄色い四角で囲った部分の受信側を拡大した。
上の図でtrn_rsof_n, trn_reof_n, trn_rsrc_rdy_n, trn_rdst_rdy_nなどを見るとわかるように、最初にtrn_rsof_nが0にアサートされて、3つデータが来た後に、trn_reof_nがアサートされて、現在のデータで終了となる。都合4つのデータを持つパケットを受信した。そのデータは、
40000001 01a009ff 00000000 04030201 だった。もう1つパケットを受信している。最初はtrn_rsof_nが0にアサートされても、trn_rdst_rdy_nが0にアサートされていないため、EndPointはアサートされるまでtrn_rsof_nを0にして待っている。trn_rdst_rdy_nはユーザーアプリ側がアサートする信号で、受信パケットの受け入れ準備ができていないことを示している。trn_rsrc_rdy_nはEndPoint側の準備ができていないことを示し、trn_rsrc_rdy_nとtrn_rdst_rdy_nが同時にアサートされた時が、データをユーザーアプリ側に転送できた時だ。説明が長くなったが、2回目に受信したパケットは、
00000001 01a00aff 00000000 だった。
最初の
40000001 01a009ff 00000000 04030201 から解析してみる。
最初のフレームの
0x40000001 から解析する。
最初のバイト、バイト0は
0x40 となっている。このバイトの6,5番目のビットがTLPのフォーマット(Fmt)を表す。
10 なので、3DWデータありを表す。ビット4～0がTLPの種類(Type)を表す。Fmtが
10 、Typeが
00000 なので、メモリ・ライト・リクエストという事になる。
バイト1は、ビット6～4がトラフィック・クラス(TC)を表す。TCは
000 。後はリザーブ。
バイト2のビット7がECRCの有無、
0 なので無し。ビット6がエラー・フォワーディングかな？
0 なので無し？ビット5～4は属性。値は
00 。ビット5はRelaxed Ordering Bitで、ビット4は、No Snoop Bitなので、どちらも
0 。
バイト2のビット１～0とバイト3の全部がデータのペイロード長。
0000000001 なので、データは1DW。
次のフレームの
0x01a009ff を解析してみる。
次のバイト4とバイト5はリクエスタID。
0x01a0 。
バイト6がタグ。これは
0x09 、これは今までで10個目のパケットなのかな？
バイト7のビット7～4が最後のDWのバイトイネーブル。これは
1111 。ビット3～0が最初のDWのバイトイネーブルで
1111 。どちらのバイトイネーブルもオール1だった。最初と最後のバイトイネーブルをパケットに含めることで、バイト単位（のアドレス）でバースト転送をすることができる。でもPCIバスの様に個別に、常時バイトイネーブルが付くわけではないので、1バイト置きに書くということは出来ない。
3番目のフレームの
0x00000000 を解析する。
ビット32～ビット2はアドレスを表す。つまり
0番地 ということ、ビット1～ビット0はリザーブなのは、バイト単位ではなく、32ビットのダブルワード単位のアドレスだから。
4番目のフレーム、
0x04030201 はデータということになる。
前回の解析結果から行くと、最初のバイトはバイト0となっているはずなので、32ビット幅のデータとして表示すると、順序が逆になって
0x01020304 になる。
最初のパケットをまとめると、1DWを0番地に書き込むメモリ・ライト・リクエストで、書き込む32ビット幅のデータは
0x01020304 。
次のパケット、
00000001 01a00aff 00000000 の解析してみよう。
最初のバイト、バイト0は
0x00 となっている。このバイトの6,5番目のビットがTLPのフォーマット(Fmt)を表す。
00 なので、3DWデータ無しを表す。ビット4～0がTLPの種類(Type)を表す。Fmtが
00 、Typeが
00000 なので、メモリ・リード・リクエストという事になる。
バイト1は、ビット6～4がトラフィック・クラス(TC)を表す。TCは
000 。後はリザーブ。
バイト2のビット7がECRCの有無、
0 なので無し。ビット6がエラー・フォワーディングかな？
0 なので無し？ビット5～4は属性。値は
00 。ビット5はRelaxed Ordering Bitで、ビット4は、No Snoop Bitなので、どちらも
0 。
バイト2のビット１～0とバイト3の全部がデータのペイロード長。
0000000001 なので、データは1DW。
次のフレームの
0x01a00aff を解析してみる。
次のバイト4とバイト5はリクエスタID。
0x01a0 。
バイト6がタグ。これは
0x0a 、これは今までで11個目のパケット？
バイト7のビット7～4が最後のDWのバイトイネーブル。これは
1111 。ビット3～0が最初のDWのバイトイネーブルで
1111 。どちらのバイトイネーブルもオール1だった。
3番目のフレームの
0x00000000 を解析する。
ビット32～ビット2はアドレスを表す。つまり
0番地 。
このパケットは、0番地から1DWを読むメモリ・リード・リクエスト。
つまり0番地へ4バイトをWriteして、また0番地からReadする。
パケット解析するのが面倒なので、パケット解析プログラムを作ることにする。ExcelかRubyかそれともOpenOffice.orgのCalcで作ろうかな？
2010年06月06日 06:50 |
PCI Eｘpress
| トラックバック:0
| コメント:0
”
Spartan-6のPCIe Endpoint Block IPの勉強２（シミュレーションでRoot Portの動作を確認２） ”の続き。
今回は、pio_writeReadBack_test1を行った。pio_writeReadBack_test1は”
Spartan-6 FPGA PCI Express 用インテグレイテッド エンドポイント ブロック ユーザー ガイド (英語版) ”の150ページに全ソースが載っている。これをtests.vに追加した。だが、それだけではだめで、信号やTASKの実体は下の階層のVerilogソースにあるので、board.RP.tx_usrappまでのパスを全部の信号やTASKに追加した。一部を転載すると下のような感じになっている。
board.RP.tx_usrapp.P_READ_DATA = 32'hffff_ffff; // make sure P_READ_DATA has known initial value
まさにVerilogだから、参照出来ているので、VHDLの言語仕様ではできない。良いのか悪いのかよく分からないが、下位の信号やTASKが自由に使えるのは取り敢えず便利だ。
書き直してコンパイル、リンクして、下のコマンドでISimを起動した。
demo_tb.exe -gui -testplusarg TESTNAME=pio_writeReadBack_test1
Root Port (RP)から、多量のパケットを送信して、同様のパケットを受信している。下にRPの送受信タイミングを示すISimの波形ウインドウを示す。
次にEndPointを見てみる。やっと、EndPointでも送信と受信を観測することができた。下にEndPointの送受信タイミングのISimの波形ウインドウを示す。
黄色い四角の部分で、パケットを受信して、次にパケットを送信している。
シミュレーション時のISimのログを下に示す。
Simulator is doing circuit initialization process.
2010年06月05日 05:03 |
PCI Eｘpress
| トラックバック:0
| コメント:0
Spartan-6のPCIe Endpoint Block IPのサンプル・デザイン、PIOデザインの勉強をする。これは、下の図で言うと、Spartan-6のPCIe Endpoint Block IPの下の部分で、サンプル・デザインの時のメモリやIOの実装だ。実際には4つのBRAMが載っていて、それぞれ違うアドレスを持っている。
Root PortからのTLPを受信したEnd Pointは、どのBase Address Register (BAR) にヒットしたかをtrn_rbar_hit_n[6:0]でユーザー回路に知らせるようだ。下に、trn_rbar_hit_n[6:0]の説明をユーザーズガイドから引用する。
Receive BAR Hit: Active low. Indicates BAR(s)
＃そういえば、End Pointとユーザー回路のインターフェースを真面目に勉強するのを忘れていた。これは後で勉強することにする。
4つのBRAMがどのBARに割り当てられているかを示すテーブルがユーザーズガイド129ページからに載っている。Table 9-1: TLP Traffic Typesを下に引用する。
上図のようになるようだが、疑問が2つ。End Point IPは、
前回、1つのBARで、1MBytesに設定したはず なのだが、それは無視されるのだろうか？サンプル・デザインはこのコンフィギュレーションになるの？
ep_mem0はIOで、trn_rbar_hit_n[6:0]はDefaultと書いてあるが、PCIeはそうなるのかな？PCIでは、IOもBARにアドレスを登録するんじゃなかったか？
もう少し、PCIeの勉強が必要なようだ。
ソースを読んでみたところ、64ビット幅アドレスは無効になっていた。trn_rbar_hit_n[0] => BAR0の32ビット幅アドレスは有効でBRAMがアサインされていた。trn_rbar_hit_n[6] => Expansion ROM Addressも有効でBRAMがアサインされていた。それ以外のアクセスがあったときは、デフォルトのIO領域のBRAMがアクセスされていた。
2010年05月28日 05:46 |
PCI Eｘpress
| トラックバック:0
| コメント:0
