交互式全息幻象教學(xué)系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及交互式全息投影技術(shù)、背景圖像分離技術(shù)、多傳感器融合技術(shù)、體感交互技術(shù)領(lǐng)域，尤其涉及一種交互式全息幻象教學(xué)系統(tǒng)及方法。
【背景技術(shù)】
[0002]全息投影(Holography)是一種采用全息膜將真實物體的反射光線與虛擬圖像的反射光線相融合，在空中產(chǎn)生立體幻象，實現(xiàn)虛擬物體在現(xiàn)實環(huán)境中再現(xiàn)的視覺效果。在最初，這種技術(shù)只是應(yīng)用在展會展覽，隨著技術(shù)的不斷成熟，全息投影技術(shù)漸漸應(yīng)用在了其他的領(lǐng)域，尤其是在數(shù)字娛樂，如舞臺展現(xiàn)、產(chǎn)品發(fā)布會、虛擬講堂等。以上都很精彩地將虛擬物體呈現(xiàn)在真實場景中。然而以上應(yīng)用都主在呈現(xiàn)，硬性地將虛擬物體置于特定的真實場景中，而缺少交互的功能，這也是為何全息技術(shù)至今主要應(yīng)用在展會，演唱會等展現(xiàn)類應(yīng)用方面的原因。若要讓全息投影技術(shù)應(yīng)用到各個領(lǐng)域，我們必須要讓全息投影技術(shù)融合體感交互技術(shù)。

【發(fā)明內(nèi)容】

[0003]針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供一種交互式全息幻象教學(xué)系統(tǒng)及方法，能夠突破全息幻象技術(shù)只在展會、演唱會等展現(xiàn)類應(yīng)用的局限性，開拓了全息幻象的交互應(yīng)用，同時，能夠?qū)⒔换ナ饺⒒孟笈c課堂教學(xué)相結(jié)合，突破了傳統(tǒng)的多媒體教學(xué)方式，不僅第一操作者可以與虛擬的幻象進行交互，第二操作者在課堂中也可以實時的進行虛實交互，增添課堂的趣味性和互動性，提高教學(xué)質(zhì)量。
[0004]第一方面，本發(fā)明提供一種交互式全息幻象教學(xué)系統(tǒng)，包括:
[0005]第一裝置、第二裝置、第三裝置、第四裝置、服務(wù)器，所述第二裝置設(shè)置于所述第一、三裝置之間，所述第三裝置設(shè)置于所述第二、四裝置之間；
[0006]所述第一裝置包括:第一體感控制器、方向照明燈、第二黑幕布；
[0007]所述第二裝置包括:投影儀、全息膜、第一黑幕布；
[0008]所述第三裝置包括:攝像頭、第二體感控制器、第一處理器；
[0009]所述第四裝置包括:攝像機、第二處理器、顯示器；
[0010]所述攝像頭，用于獲取第二操作者的圖像；
[0011]所述第一體感控制器，用于獲取第一操作者的動作信息，并將所述第一操作者的動作信息轉(zhuǎn)化為數(shù)字動作指令信息；
[0012]所述第二體感控制器，用于獲取第二操作者的肢體動作信息；
[0013]所述第一處理器，用于將所述肢體動作信息轉(zhuǎn)化為肢體動作的數(shù)字操縱指令信息；
[0014]所述服務(wù)器，用于獲取所述攝像頭中的所述第二操作者的圖像、所述第一體感控制器中的所述數(shù)字動作指令信息、以及所述第一處理器中的所述數(shù)字操縱指令信息，將所述第二操作者的圖像進行背景分離處理，獲得所述第二操作者的人物圖像，將所述第二操作者的人物圖像融入到保存在所述服務(wù)器中的3D虛擬場景中，分別根據(jù)所述數(shù)字動作指令信息、所述數(shù)字操縱指令信息，在所述服務(wù)器中的融入所述第二操作者的人物圖像后的3D虛擬場景中分別實現(xiàn)第一操作者、第二操作者與虛擬物體的交互，獲取交互后的3D虛擬場景，所述服務(wù)器與所述攝像頭、所述第一體感控制器、所述投影儀分別連接，所述服務(wù)器通過所述第一處理器與所述第二體感控制器連接；
[0015]所述第一黑幕布，用于反射所述投影儀的投影，所述第一黑幕布在所述投影儀的下方；
[0016]所述全息膜，用于將所述第一黑幕布反射的投影生成3D幻象；
[0017]所述第二黑幕布，用于混合背景呈現(xiàn)為黑色，所述第二黑幕布在所述第一操作者的背后位置；
[0018]所述方向照明燈，用于照亮所述第一操作者，使所述第一操作者與所述3D幻象融合到一個場景中；
[0019]所述攝像機，用于獲取所述第一操作者與所述3D幻象融合后的場景的圖像，將所述第一操作者與所述3D幻象融合后的場景的圖像通過第二處理器在顯示器中顯示，以使所述第一操作者在所述顯示器中看到所述3D幻象、所述3D幻象中的第二操作者和所述第一操作者自己；
[0020]所述第一裝置、所述第二裝置均處于黑暗環(huán)境中。
[0021]可選地，所述第一體感控制器為=Kinect ；
[0022]和/ 或，
[0023]所述第二體感控制器為:leap mot1n ；
[0024]和/ 或，
[0025]所述攝像頭為:廣角攝像頭。
[0026]可選地，所述第二操作者與所述第二體感控制器和所述第一處理器的數(shù)量相同，為一個或一個以上；
[0027]和/ 或，
[0028]所述第一體感控制器、和/或所述顯示器、和/或所述投影儀、和/或所述攝像頭設(shè)置在講臺或舞臺上，和/或所述全息膜通過連接器設(shè)置在所述講臺或舞臺上。
[0029]可選地，所述全息膜與所述第二操作者方向的水平地面成45° ;
[0030]和/ 或，
[0031]所述第一體感控制器設(shè)置在所述顯示器的頂部。
[0032]可選地，所述系統(tǒng)還包括:豎直設(shè)置的第三黑幕布，用于防止所述第二操作者觀測到所述投影儀在所述第一黑幕布生成的地面投影；
[0033]和/ 或，
[0034]所述服務(wù)器放置在所述第三黑幕布的內(nèi)部。
[0035]可選地，所述第一處理器設(shè)置在所述第二操作者使用的封裝桌子的內(nèi)部，通過所述封裝桌子的上表面的小孔與設(shè)置在所述封裝桌子的上表面的所述第二體感控制器連接，所述第一處理器通過所述封裝桌子的側(cè)面的小孔與外接電源連接。
[0036]第二方面，本發(fā)明提供一種使用上述系統(tǒng)的交互式全息幻象教學(xué)方法，包括:
[0037]攝像頭獲取第二操作者的圖像；
[0038]第一體感控制器獲取第一操作者的動作信息，將所述第一操作者的動作信息轉(zhuǎn)化為數(shù)字動作指令信息；
[0039]第二體感控制器獲取第二操作者的肢體動作信息，將所述肢體動作信息發(fā)送至第一處理器，所述第一處理器將所述肢體動作信息轉(zhuǎn)化為肢體動作的數(shù)字操縱指令信息；
[0040]服務(wù)器獲取所述第二操作者的圖像、所述數(shù)字動作指令信息和所述數(shù)字操縱指令信息；
[0041]服務(wù)器將所述第二操作者的圖像進行背景分離處理，獲得所述第二操作者的人物圖像，將所述第二操作者的人物圖像融入到保存在所述服務(wù)器中的3D虛擬場景中；
[0042]服務(wù)器分別根據(jù)所述數(shù)字動作指令信息、所述數(shù)字操縱指令信息，在所述服務(wù)器中的融入所述第二操作者的人物圖像后的3D虛擬場景中分別實現(xiàn)第一操作者、第二操作者與虛擬物體的交互，獲取交互后的3D虛擬場景；
[0043]投影儀獲取服務(wù)器中的所述交互后的3D虛擬場景，將所述交互后的3D虛擬場景投影在所述投影儀下方的第一黑幕布上；
[0044]第一黑幕布將所述投影儀的投影反射通過全息膜生成3D幻象；
[0045]方向照明燈照亮所述第一操作者，使所述第一操作者與所述3D幻象融合到一個場景中；
[0046]攝像機獲取所述第一操作者與所述3D幻象融合后的場景的圖像，將所述第一操作者與所述3D幻象融合后的場景的圖像通過第二處理器在顯示器中顯示，以使所述第一操作者在所述顯示器中看到所述3D幻象、所述3D幻象中的第二操作者和所述第一操作者自己。
[0047]可選地，所述第一體感控制器為=Kinect ；