日本在线www-日本在线播放一区-日本在线不卡免费视频一区-日本在线不卡视频-成人影院久久久久久影院-成人影院一区二区三区

　　在電信、電力、國防等應(yīng)用領(lǐng)域中,經(jīng)常要求其所用設(shè)備有極高的實時性。當(dāng)需要在各個設(shè)備間進(jìn)行大容量的信息交換時,傳統(tǒng)的網(wǎng)絡(luò)包交換模式已不能很好地滿足實時性的要求。而借助于CPCI總線,兩個設(shè)備可以互訪對方的內(nèi)存,具有傳輸速度快、傳輸容量大和高可靠性等特點,非常適合大容量的信息傳遞。國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心承擔(dān)的國家863計劃項目――“中國第三代移動通信系統(tǒng)”CDMA2000系統(tǒng)集成就選擇基于CPCI總線的多SBC平臺。各個SBC間的通信效率直接決定了整個系統(tǒng)性能的高低。目前常用的實時操作系統(tǒng)如VxWorks、Lynx等,都針對CPCI總線實現(xiàn)了消息隊列,可用于SBC間的消息通信。但VxWorks、Lynx中消息傳遞的實現(xiàn)方式很不靈活,一般是通過在一個特定的SBC(通常為system board)中開啟一塊共享內(nèi)存,其他各個SBC(通常為non system board)通過對共享內(nèi)存的讀寫交換信息;每完成一次兩個non system SBC間的信息交換,都要進(jìn)行一次PCI讀寫操作,效率不高。另外VxWorks、Lynx中的消息長度都有一個最大值,當(dāng)要進(jìn)行大數(shù)據(jù)量(如1GB的內(nèi)存數(shù)據(jù)庫)的信息傳輸時,操作系統(tǒng)提供消息傳遞機(jī)制也無能為力。而以上這些問題,都可以通過任意兩個SBC間的直接內(nèi)存訪問得到解決。本文首先介紹了PCI Bridge的工作原理;然后以Motorola公司提供的CPX8000系列工控機(jī)為例,討論了兩個SBC是如何基于背板(Backplane)上的CPCI總線,并利用PCI Bridge的地址映射機(jī)制,通過互訪內(nèi)存的方式最終實現(xiàn)雙機(jī)通信;最后介紹了實際應(yīng)用時應(yīng)注意的性能優(yōu)化問題。

　　1 PCI Bridge的工作原理

　　在簡單的計算機(jī)系統(tǒng)中,其擁有的外部設(shè)備較少,單級總線結(jié)構(gòu)便能滿足系統(tǒng)的需要。但是由于單個 PCI總線可支持的 PCI 設(shè)備數(shù)量有電氣限制,對擁有大量外設(shè)的計算機(jī)系統(tǒng)而言,單級總線結(jié)構(gòu)已不能滿足系統(tǒng)的要求,因此便產(chǎn)生了橋接設(shè)備。通過PCI-to-PCI Bridge可擴(kuò)展出新的PCI總線,通過PCI-to-ISA Bridge可擴(kuò)展出ISA總線。借助PCI Bridge這些特殊的PCI設(shè)備,系統(tǒng)中各級總線被粘和在一起,使整個系統(tǒng)成為一個有機(jī)整體。
　　每個PCI設(shè)備都有自己的PCI I/O空間、PCI內(nèi)存空間和PCI配置空間(configuration space)。PCI設(shè)備的設(shè)備驅(qū)動程序?qū)CI配置空間進(jìn)行初始化設(shè)置后,各個智能控制器如CPU、DMA控制器等,可以對PCI設(shè)備的PCI I/O空間、PCI內(nèi)存空間進(jìn)行訪問。在圖1中,CPU若要訪問網(wǎng)卡,首先會在PCI Bus0上生成一個物理地址,這個地址經(jīng)PCI-to-PCI Bridge的過濾及轉(zhuǎn)換后,在PCI Bus1上產(chǎn)生一PCI Bus地址,網(wǎng)卡通過地址譯碼,響應(yīng)對這個地址的訪問。

圖1 基于PCI的系統(tǒng)

　　從這個過程可以了解到,PCI-to-PCI Bridge有兩種基本的功能:

　　(1)地址映射功能。雖然同是對網(wǎng)卡進(jìn)行訪問,但PCI Bus0與PCI Bus1上的地址意義是不同的。兩個地址分屬各自的地址空間,通過PCI-to-PCI Bridge實現(xiàn)兩個地址的映射。根據(jù)這兩個地址是否相同,可將PCI-to-PCI Bridge區(qū)分為兩種類型:

　　?PCI-to-PCI Transparent Bridge。PCI Bridge不對PCI Bus0上的地址進(jìn)行轉(zhuǎn)換,直接將其映射到PCI Bus1上。PCI Bus0與PCI Bus1上的地址是相同的。

　　?PCI-to-PCI Non Transparent Bridge。PCI Bus0上的地址必須經(jīng)過PCI Bridge的轉(zhuǎn)換,才能映射到PCI Bus1上。PCI Bus0與PCI Bus1上的地址是不同的。

　　(2)地址過濾功能。PCI Bridge在把PCI Bus0上的地址向下游總線(ISA Bus、PCI Bus1)傳遞時,具有選擇性。在圖1中,CPU在PCI Bus0上所產(chǎn)生的地址,只有對SCSI和
　　Ethernet的訪問,PCI-to-PCI Bridge才予以接收;而對于PCI Bus0的其他地址,PCI-to-PCI Bridge均不予響應(yīng)。每一個PCI Bridge所響應(yīng)的地址范圍,可形象地稱其為此PCI Bridge的地址窗口,只有當(dāng)上游總線的地址落進(jìn)PCI Bridge的地址窗口中,PCI Bridge才響應(yīng)此地址并向下游總線傳遞。

　　2 雙機(jī)通信的具體實現(xiàn)

　　本節(jié)以Motorola公司提供的CPX8000系列工控機(jī)為例,介紹了如何通過CPCI總線實現(xiàn)雙機(jī)間的通信。如圖2所示,兩個SBC通過背板上的CPCI總線實現(xiàn)了物理上的連接。如果兩個SBC能夠互相訪問對方的內(nèi)存,就可實現(xiàn)兩者間的數(shù)據(jù)交流。以系統(tǒng)處理機(jī)板(System Processor Board,又稱主機(jī)板)訪問非系統(tǒng)處理機(jī)板(Non-system Processor Board, 又稱子機(jī)板)內(nèi)存為例,介紹雙機(jī)通信的具體實現(xiàn)。本方案已在Lynx及VxWorks實時操作系統(tǒng)上實現(xiàn)。

　　在圖2中,主機(jī)板CPU若要訪問子機(jī)板中的1MB內(nèi)存單元,必須將這塊內(nèi)存映射到主機(jī)板CPU的虛擬地址空間中,可以通過對主機(jī)板、子機(jī)板、主機(jī)板與子機(jī)板的接口配置來達(dá)到目的。此1MB的內(nèi)存單元可被映射到不同的地址空間(如CPU虛擬地址空間、物理地址空間、本地PCI地址空間、系統(tǒng)CPCI地址空間等),映射地址也各不相同。在圖2中,對于此1MB內(nèi)存的起始單元在不同地址空間中的映射地址,分別用符號A1、A2、…A7表示。

圖2 數(shù)據(jù)通信原理圖

　　2.1 子機(jī)板的配置

　　(1)調(diào)用內(nèi)核內(nèi)存分配函數(shù)申請1MB的內(nèi)核虛擬地址空間,得到申請空間的開始地址A7。

　　(2)根據(jù)操作系統(tǒng)的內(nèi)存映射關(guān)系,得到虛擬地址A7的物理映射地址A6。

　　(3)Raven ASIC是一個Host-to-PCI Bridge,因為Processor Bus不是一個標(biāo)準(zhǔn)總線,所以通過Raven將其轉(zhuǎn)換為PCI總線,以掛接各類PCI設(shè)備。CPU和Raven一起構(gòu)成了一組套片(chipset),配合使用。根據(jù)Raven的設(shè)置,獲得物理地址A6在Local PCI Bus的映射地址A5。

　　(4)21554是一PCI-to-PCI Non Transparent Bridge,并可進(jìn)行雙向數(shù)據(jù)傳遞。通過其內(nèi)部的兩個配置寄存器,將其地址窗口的大小設(shè)為1MB;地址窗口的起始地址在Local PCI Bus端設(shè)為A5。
 
　　2.2 主機(jī)板的配置

　　(1)申請大小1MB的內(nèi)核虛擬地址空間,得到其開始地址A1。

　　(2)根據(jù)操作系統(tǒng)的內(nèi)存映射關(guān)系,得到虛擬地址A1的物理映射地址A2。
 
　　(3)根據(jù)Raven的設(shè)置,得到物理地址A2在Local PCI Bus上的映射地址A3。
 
　　(4)21154是一PCI-to-PCI Transparent Bridge,它也可以在兩個方向上進(jìn)行數(shù)據(jù)訪問。設(shè)置其內(nèi)部的兩個配置寄存器,將其地址窗口的大小設(shè)為1MB;地址窗口的起始地址設(shè)置為A3。由于21154的透明性,地址A3與其在System CPCI Bus端的映射地址A4的值是相同的。

　　2.3 主機(jī)板與子機(jī)板的接口配置

　　在主機(jī)板端對子機(jī)板進(jìn)行配置,設(shè)置21554的配置寄存器,將其在System CPCI Bus端的地址窗口開始地址設(shè)為A4。由于在Local PCI Bus端的地址窗口起始地址已設(shè)為A5,所以將地址A4映射到了地址A5。可以看到,由于21554的非透明性,使主機(jī)板與子機(jī)板的地址空間相互隔離,各自可獨立分配,并在System CPCI Bus級實現(xiàn)了對接。在主機(jī)板CPU看來,整個子機(jī)板與主機(jī)板網(wǎng)卡一樣,都是掛在主機(jī)板Local PCI Bus下的一個外設(shè)。對子機(jī)板的訪問與對主機(jī)板網(wǎng)卡的訪問方式是一樣的,沒有什么不同。

　　2.4 地址轉(zhuǎn)換流程

　　當(dāng)所有的配置完成后,主機(jī)板CPU只對地址A1進(jìn)行讀寫操作,便可實現(xiàn)對子機(jī)板1MB內(nèi)存起始單元的訪問;對1MB內(nèi)存中其他單元的訪問,只要將地址A1加上相應(yīng)的偏移量即可。通過下面的地址轉(zhuǎn)換流程,可以清楚地看到各級地址是如何通過一級級映射,最終命中指定單元的。

　　主機(jī)板CPU給出虛擬內(nèi)存訪問地址A1→主機(jī)板物理地址A2→主機(jī)板Local PCI Bus地址A3→System CPCI Bus地址A4→子機(jī)板Local PCI Bus地址A5→子機(jī)板物理地址A6→經(jīng)Falcon Memory Controller譯碼后,選中所申請的1MB內(nèi)存的起始單元。

　　從上述介紹可以看出,要想實現(xiàn)雙機(jī)的內(nèi)存互訪,關(guān)鍵是要進(jìn)行正確的地址映射。當(dāng)要實現(xiàn)多個SBC間的相互訪問時,地址的映射會更復(fù)雜,需要對操作系統(tǒng)的地址空間分配、各個SBC的PCI-to-PCI Bridge設(shè)置、System CPCI Bus地址空間分配等進(jìn)行通盤考慮。

圖3 在兩SBC間進(jìn)行讀操作時的時間圖

圖4 在兩SBC間進(jìn)行寫操作時的時間圖

　　3 性能優(yōu)化

　　圖3、圖4是用VMETRO的總線分析儀截獲的數(shù)據(jù)。分別是在兩個SBC間進(jìn)行讀寫訪問時,連續(xù)進(jìn)行100 Byte傳輸?shù)臅r間圖。

　　從圖3可以看出,每進(jìn)行一次4Byte的讀操作,要花費956.8+4×149.5+179.4=1734.2ns,這相當(dāng)于1734.2ns/29.9ns=58 PCI clock cycles。

　　從圖4可以看到,第一個4Byte的寫操作花費了159.5ns,接著是兩次猝發(fā)傳送,隨后一個4Byte寫操作花費了119.6ns。進(jìn)行一次4Byte的寫操作平均花費(159.5ns+2×29.9ns+119.6ns)/(4×29.9ns)=11 PCI clock cycles。

　　對比讀寫兩種訪問方式可以看出,寫操作比讀操作的效率要高得多。這主要有以下一些原因:

　　(1)當(dāng)PCI上的一個主設(shè)備發(fā)起對一個目標(biāo)設(shè)備的訪問時,讀和寫操作的完成時間差別很大。目前的PCI設(shè)備中一般都有一個用于存儲器寫的轉(zhuǎn)發(fā)(post)緩沖器。若要進(jìn)行寫操作(如圖2中主機(jī)板對子機(jī)板的寫操作),主設(shè)備只需將其寫緩沖區(qū)數(shù)據(jù)復(fù)制到目標(biāo)設(shè)備的轉(zhuǎn)發(fā)緩沖器中,便認(rèn)為操作完成。例如在圖2中,主機(jī)板的Raven只要將數(shù)據(jù)發(fā)給21154,便認(rèn)為寫操作完成,后續(xù)的數(shù)據(jù)傳輸由21154驅(qū)動完成。可以看到,寫操作在目的總線上(子機(jī)板的Process Bus)完成之前可以先在源總線上(主機(jī)板的Local PCI Bus)完成,實際上是寄存器對寄存器的操作。而要實現(xiàn)一個讀操作,則必須經(jīng)過存儲器本身的訪問和各級PCI接口的邏輯延遲才可完成。與寫操作相比,讀操作在源總線上完成之前必須先在目的總線上完成,這導(dǎo)致了讀操作的效率很低。

　　(2)從圖3、圖4中可以看到,PCI設(shè)備還可進(jìn)行寫操作的猝發(fā)操作,但讀操作則無法進(jìn)行。這是由于猝發(fā)操作只有在前一事務(wù)是寫事務(wù)時才能實現(xiàn)。猝發(fā)傳送取消了FRAME#、AD、C/BE#、IRDY#、TRDY#、DEVSEL#等總線信號的周轉(zhuǎn)周期,實現(xiàn)了每一個PCI clock cycle進(jìn)行一次數(shù)據(jù)傳送。

　　(3)猝發(fā)傳送操作不可能無限制地進(jìn)行下去。連續(xù)進(jìn)行猝發(fā)傳送的次數(shù)與轉(zhuǎn)發(fā)緩沖器的大小、Latency Timer的取值、總線的繁忙狀況都有關(guān)系。

　　由于以上原因,在兩個SBC間進(jìn)行數(shù)據(jù)傳送時,應(yīng)該采用如下方式:

　　(1)提供數(shù)據(jù)的SBC應(yīng)將數(shù)據(jù)直接寫到消費數(shù)據(jù)的SBC內(nèi)存中;而不是提供者將數(shù)據(jù)放在本地內(nèi)存,再由消費者經(jīng)過PCI讀操作來實現(xiàn)。也就是說,總是進(jìn)行PCI寫操作。

　　(2)當(dāng)需要在多個SBC間進(jìn)行數(shù)據(jù)互傳時,要合理地設(shè)置Latency Timer的取值,以使各SBC公平使用PCI總線資源。

　　考慮兩個子機(jī)板間的通信實現(xiàn)。若采用操作系統(tǒng)提供的消息傳遞機(jī)制,數(shù)據(jù)提供者必須先將數(shù)據(jù)寫到主機(jī)板,數(shù)據(jù)消費者再從主機(jī)板讀取數(shù)據(jù)。對一個4 Byte的數(shù)據(jù)傳輸來說,平均要花費58+11=69 PCI clock cycles。若采用本文提供的方法,提供數(shù)據(jù)的SBC將數(shù)據(jù)直接寫到消費數(shù)據(jù)的(接上頁) SBC內(nèi)存中,則傳輸一個4 Byte的數(shù)據(jù),平均只需11 PCI clock cycles。可知,后者比前者快了69/11≈6.3倍,極大提高了傳輸效率。

　　參考文獻(xiàn)

　　1 Motorola.MCP750 Series Single Board Computer Programmer’s Reference Guide. Motorola, 2001

　　2 Motorola. CompactPCI Single Board Computer Programmer’s Reference Guide. Motorola, 2001

　　3 Intel.21554 PCI-to-PCI Bridge for Embedded Applications Hardware Reference Manual. Intel,1998

　　4 Intel. 21154 PCI-to-PCI Bridge Configuration Application Note. Intel,1998

　　5 Wind River.VxWorks Programmer´s Guide. Wind River Sys-tems Inc,1998

　　6 Lynx. Lynx Device Driver Service Manual. Lynx, 2000

　　7 T.Shanley, D.Anderson. PCI System Architecture(4th Edition).USA: Addison Wesley   Longman,1999