經(jīng)由傳感器融合的擴展交互式輸入的制作方法
【技術領域】
[0001]本發(fā)明通常涉及在用戶設備界面上的交互式輸入。
【背景技術】
[0002]當前，具備例如觸摸屏或手勢辨識等交互式輸入能力的用戶設備(例如，智能電話、平板電腦、筆記本等等)通常具有小尺寸屏幕。
[0003]通?？稍谛〕叽缙聊簧蠄?zhí)行交互式輸入，如觸摸輸入和手勢(大多通過手)。然而，小尺寸屏幕會限制交互式輸入?yún)^(qū)域，致使交互式輸入較為基礎，并且阻礙例如平滑的滑動、滾動、平移、縮放等交互。在某些情況下，當前的交互式輸入，例如手勢，可以在屏幕旁完成，例如通過用筆標記；然而，這可能導致輸入和界面響應之間的斷開。
[0004]此外，交互式輸入，例如觸摸輸入和手勢，通?？赡苷诒斡脩粼O備的小尺寸屏幕。例如，當前的觸摸輸入受限于用戶設備的屏幕，這可能使得難以看到受影響的內(nèi)容。同樣地，交互式輸入可能需要用戶執(zhí)行重復的動作以執(zhí)行任務，例如，多重滑動縮放、選擇或滾動運動。
[0005]相應地，本領域需要改善用戶設備上的交互式輸入。

【發(fā)明內(nèi)容】

[0006]根據(jù)本發(fā)明的一或多個實施例，提供了用于通過從一個傳感器到另一個傳感器無縫過渡從而擴展交互式輸入的方法和系統(tǒng)。
[0007]根據(jù)一個實施例，一種方法包括:用第一傳感器檢測由控制物件進行的輸入的至少一部分。所述方法還包括:確定控制物件定位于過渡區(qū)域中。所述方法還包括:至少部分地基于所述控制物件定位于所述過渡區(qū)域的確定，確定是否用第二傳感器檢測所述輸入的后續(xù)部分。
[0008]根據(jù)另一個實施例，一種方法包括:用與電子設備相連的第一傳感器檢測由控制物件進行的輸入的至少一部分。所述方法還包括:檢測所述控制物件進入過渡區(qū)域或在所述過渡區(qū)域內(nèi)的移動。并且，所述方法還包括:至少部分地基于所述控制物件的被檢測到的移動，確定是否用與所述電子設備相連的第二傳感器檢測所述輸入的后續(xù)部分。
[0009]在一個實施例中，所述方法還包括:確定所述控制物件的位置是否可能超出第一傳感器的檢測范圍。在一個實施例中，所述方法包括:基于活動應用，確定所述控制物件的位置是否可能超出第一傳感器的檢測范圍。在一個實施例中，所述方法包括:基于所述移動的速度，確定控制物件的位置是否可能超出第一傳感器的檢測范圍。在一個實施例中，所述方法包括:基于從與所述控制物件相關聯(lián)的用戶先前輸入獲得的信息，確定控制物件的位置是否可能超出第一傳感器的檢測范圍。
[0010]在另一個實施例中，所述方法還包括:確定與使用第一傳感器相比、使用第二傳感器能夠以更高的置信度檢測到所述控制物件的移動。
[0011]在另一個實施例中，所述方法還包括:至少部分地基于所述控制物件的被檢測到的移動，確定是否用第三傳感器檢測所述輸入的后續(xù)部分。
[0012]在另一個實施例中，所述過渡區(qū)域包括第一過渡區(qū)域，并且，所述方法還包括:檢測控制物件進入第二過渡區(qū)域或在第二過渡區(qū)域內(nèi)的移動，所述第二過渡區(qū)域至少部分地與所述第一過渡區(qū)域重疊。
[0013]在另一個實施例中，第一傳感器包括與裝置的屏幕基本對齊的電容式觸摸傳感器，且第二傳感器包括在裝置邊緣上的廣角相機或能夠感測超聲頻率的麥克風。在另一個實施例中，第一傳感器包括經(jīng)配置以在至少部分地與裝置的屏幕對齊的視野內(nèi)捕捉圖像的第一相機，且第二傳感器包括經(jīng)配置以在至少部分地偏離裝置的屏幕的視野內(nèi)捕捉圖像的相機。在另一個實施例中，第一傳感器包括在裝置邊緣上的廣角相機或能夠感測超聲頻率的麥克風，且第二傳感器包括與裝置的屏幕基本對齊的電容式觸摸傳感器。在另一個實施例中，第一傳感器包括經(jīng)配置以在至少部分地與裝置的邊緣對齊的視野內(nèi)捕捉圖像的第一相機，且第二傳感器包括經(jīng)配置以在至少部分地與裝置的屏幕對齊的視野內(nèi)捕捉圖像的第二相機。
[0014]在另一個實施例中，所述方法還包括從多個附接到電子裝置的傳感器中選擇第二傳感器。在一個實施例中，所述電子裝置包括移動裝置。在另一個實施例中，所述電子裝置包括電視機。
[0015]在另一個實施例中，第一傳感器和第二傳感器中的一個包括設置在所述電子裝置的表面上的能夠感測超聲頻率的第一麥克風，且第一傳感器和第二傳感器中的另一個包括設置在所述電子裝置的邊緣上的能夠感測超聲頻率的第二麥克風。
[0016]在另一個實施例中，所述方法還包括:用第二傳感器檢測所述輸入的后續(xù)部分，并基于輸入和輸入的后續(xù)部分影響電子裝置上的應用的操作。在一實施例中，所述方法還包括:對來自第一傳感器和第二傳感器的數(shù)據(jù)進行時間同步，使得當用第一傳感器檢測時與當用第二傳感器檢測時相比，控制物件的移動對操作的影響基本相同。在一實施例中，所述操作包括縮放操作，其中所述移動包括:在裝置的顯示器之上或與裝置的顯示器接觸的第一區(qū)域、以及與第一區(qū)域偏離的第二區(qū)域之間的控制物件過渡。在另一個實施例中，所述操作包括滾動或平移操作，其中所述移動包括在裝置的顯示器之上或與裝置的顯示器接觸的第一區(qū)域、以及與第一區(qū)域偏離的第二區(qū)域之間的控制物件過渡。
[0017]在另一個實施例中，所述方法還包括:檢測脫離輸入，并基于所檢測到的脫離輸入，停止對應用的操作的影響。在一實施例中，所述控制物件的移動基本上在平面內(nèi)，且所述脫離輸入包括控制物件在所述平面之外的運動。在另一個實施例中，所述控制物件包括手，且所述脫離輸入包括手的閉合。
【附圖說明】
[0018]圖1是示出了根據(jù)本發(fā)明的實施例的從屏上到屏外的手勢延伸的圖。
[0019]圖2是示出了根據(jù)本發(fā)明的實施例的從屏外到屏上的手勢延伸的圖。
[0020]圖3是示出了根據(jù)本發(fā)明的實施例的具有配合使用以跟蹤物件的一組傳感器的裝置的圖。
[0021]圖4是示出了根據(jù)本發(fā)明的實施例的用于跟蹤控制物件的方法的流程圖。
[0022]圖5是示出了根據(jù)本發(fā)明的實施例的超出用戶裝置的屏幕而繼續(xù)觸摸動作的圖。
[0023]圖6是示出了根據(jù)本發(fā)明的實施例的超出用戶裝置的屏幕而繼續(xù)觸摸動作的圖。
[0024]圖7是示出了根據(jù)本發(fā)明的另一實施例的超出用戶裝置的屏幕而繼續(xù)觸摸動作的圖。
[0025]圖8是示出了根據(jù)本發(fā)明的實施例的用于跟蹤控制物件的移動的方法的流程圖。
[0026]圖9是示出了根據(jù)本發(fā)明的實施例的用于實現(xiàn)裝置的系統(tǒng)的框圖。
[0027]圖10是示出了根據(jù)本發(fā)明的實施例的用于延伸交互式輸入的方法的流程圖。
【具體實施方式】
[0028]提供了根據(jù)本發(fā)明的一或多個實施例的系統(tǒng)和方法，其例如經(jīng)由多模傳感器融合來用于無縫地延伸交互式輸入(例如，觸摸和手勢辨識)。
[0029]經(jīng)配置以檢測非觸摸輸入的傳感器或技術可以被包括在用戶裝置或系統(tǒng)內(nèi)、和/或定位于用戶裝置的各個表面，例如定位于用戶裝置的頂部、底部、左側(cè)、右側(cè)和/或背部，以使得例如手勢之類的非觸摸數(shù)據(jù)在用戶裝置前方(屏上)以及用戶裝置屏幕的直接視線之外(屏外)被執(zhí)行時可以被捕捉。通常，屏外非觸摸輸入在下文中也可以被稱為“屏外手勢”，其中“屏外手勢”可以指代例如手、手指、筆等的控制物件的位置或運動數(shù)據(jù)，其中所述控制物件不接觸用戶裝置，但是靠近用戶裝置。這些“屏外”非觸摸手勢不僅可以是從用戶裝置的屏幕中移除，而且它們可以包括控制物件相對于裝置的屏幕或顯示器向一旁偏離所述裝置的部分。例如，可以想象這樣的容體，其沿著大致垂直于所述裝置的顯示器或屏幕的平面的方向延伸離開所述顯示器或屏幕?！捌镣狻笔謩菘梢园▓?zhí)行手勢的控制物件的至少一部分定位于所述容體之外的手勢。在一些實施例中，“屏上”手勢和/或輸入可以至少部分地定位于所述容體內(nèi)，并且可以包括觸摸輸入和/或手勢、或非觸摸輸入和/或手勢。
[0030]在一或多個實施例中，屏上(或屏幕上方)手勢辨識可以與屏外(或超出屏幕)手勢辨識組合和同步，以提供具有連續(xù)精確解析的無縫用戶輸入。
[0031]在一個實例中，影響在用戶裝置上顯示的內(nèi)容的動作，例如滾動列表、網(wǎng)頁等，可以基于用戶輸入，例如，基于檢測到的手勢(其包含例如手、筆、手指等的控制物件的運動)的速度，以對于手勢運動來說同樣的相對內(nèi)容速度繼續(xù)進行。也就是說，當用戶移動其手的時候，例如向上運動的時候，如果用戶的移動速度是一致的，那么例如列表、網(wǎng)頁等等的內(nèi)容繼續(xù)以恒定的速度滾動。任選地，用戶可能有更為一致的體驗，其中動作的速度，例如滾屏的速度，并不總是相同。例如，滾屏速度可以選擇性地基于檢測到的手勢而增加，檢測到的手勢包括控制物件(例如，手、筆、手指，等等)的運動，從而，如果控制物件移動地比滾屏速度更快，則滾屏速度可以增加。因而，在用戶裝置上執(zhí)行的動作的速度與例如滾屏的裝置響應之間可存在相關性。因而，在一些實施例中，無論手勢的任何給定部分被限定于何處(例如，不管用戶正在接觸裝置的顯示器還是手指已經(jīng)滑到顯示器外)，裝置對于用戶移動的反應是一致的。
[00