本說明書涉及計算機(jī)，尤其涉及一種訪客處理方法、裝置、存儲介質(zhì)及電子設(shè)備。

背景技術(shù)：

1、近年來，隨著人工智能和深度學(xué)習(xí)技術(shù)的迅速發(fā)展，智能安防監(jiān)控場景正迎來全新的變革。智能安防監(jiān)控場景下基于多攝像頭協(xié)同監(jiān)控的安防視頻數(shù)據(jù)分析技術(shù)得到了廣泛應(yīng)用，提供了高效、實(shí)時的監(jiān)控解決方案。與此同時，各類視頻分析算法在復(fù)雜場景下的魯棒性和準(zhǔn)確性不斷提升，推動了視頻內(nèi)容自動化處理和事件檢測技術(shù)的進(jìn)一步發(fā)展，從而為未來智能安防和行為識別等應(yīng)用奠定了堅實(shí)的技術(shù)基礎(chǔ)。

技術(shù)實(shí)現(xiàn)思路

1、本說明書實(shí)施例提供了一種訪客處理方法、裝置、存儲介質(zhì)及電子設(shè)備，所述技術(shù)方案如下：

2、第一方面，本說明書實(shí)施例提供了一種訪客處理方法，所述方法包括：

3、采集安防場景下的多個安防監(jiān)控端視頻；

4、基于各所述安防監(jiān)控端視頻，采用安防處理大模型進(jìn)行來訪對象跨端識別得到至少一個來訪對象的對象來訪場景視頻集；

5、確定所述來訪對象與用戶對象的來訪對象關(guān)系標(biāo)簽，基于所述來訪對象關(guān)系標(biāo)簽和所述對象來訪場景視頻集生成各所述來訪對象的來訪對象事件；

6、在安防監(jiān)控界面展示各所述來訪對象和所述來訪對象對應(yīng)的來訪對象事件。

7、在一種可行的實(shí)施方式中，所述基于各所述安防監(jiān)控端視頻，采用安防處理大模型進(jìn)行來訪對象跨端識別得到至少一個來訪對象的對象來訪場景視頻集，包括：

8、基于各所述安防監(jiān)控端視頻進(jìn)行來訪目標(biāo)檢測處理得到來訪目標(biāo)檢測元信息；

9、采用安防處理大模型基于所述多個安防監(jiān)控端視頻和所述來訪目標(biāo)解析元信息進(jìn)行來訪對象跨端識別確定至少一個來訪對象，并從所述多個安防監(jiān)控端視頻提取針對所述來訪對象對應(yīng)的對象來訪場景視頻集。

10、在一種可行的實(shí)施方式中，所述采用安防處理大模型基于所述多個安防監(jiān)控端視頻和所述來訪目標(biāo)解析元信息進(jìn)行來訪對象跨端識別確定至少一個來訪對象，并從所述多個安防監(jiān)控端視頻提取針對所述來訪對象對應(yīng)的對象來訪場景視頻集，包括：

11、采用安防處理大模型基于所述多個安防監(jiān)控端視頻和所述來訪目標(biāo)解析元信息進(jìn)行來訪對象跨端識別確定至少一個來訪對象；

12、采用安防處理大模型確定針對所述來訪對象的目標(biāo)運(yùn)動描述文本和目標(biāo)運(yùn)動描述關(guān)鍵幀，基于所述目標(biāo)運(yùn)動描述文本和所述目標(biāo)運(yùn)動描述關(guān)鍵幀進(jìn)行多模態(tài)融合得到潛在來訪對象得到目標(biāo)運(yùn)動描述事件信息；

13、采用安防處理大模型基于所述目標(biāo)運(yùn)動描述事件信息生成對所述多個安防監(jiān)控端視頻的來訪視頻集剪輯腳本；

14、基于所述來訪視頻集剪輯腳本從所述多個安防監(jiān)控端視頻提取針對所述來訪對象對應(yīng)的對象來訪場景視頻集。

15、在一種可行的實(shí)施方式中，所述采用安防處理大模型基于所述目標(biāo)運(yùn)動描述事件信息生成對所述多個安防監(jiān)控端視頻的來訪視頻集剪輯腳本，包括：

16、采用安防處理大模型基于所述目標(biāo)運(yùn)動描述事件信息對所述多個安防監(jiān)控端視頻進(jìn)行關(guān)鍵剪輯片段解析處理得到所述來訪對象對應(yīng)的來訪視頻集剪輯時間；

17、對所述來訪對象的多個關(guān)鍵剪輯片段確定來訪對象轉(zhuǎn)場模式和來訪故事描述字幕；

18、基于所述來訪視頻集剪輯時間、所述來訪對象轉(zhuǎn)場模式和所述來訪故事描述字幕生成對所述多個安防監(jiān)控端視頻的來訪視頻集剪輯腳本。

19、在一種可行的實(shí)施方式中，所述基于所述來訪視頻集剪輯腳本從所述多個安防監(jiān)控端視頻提取針對所述來訪對象對應(yīng)的對象來訪場景視頻集，包括：

20、基于所述來訪視頻集剪輯腳本中的來訪視頻集剪輯時間從所述多個安防監(jiān)控端視頻中確定針對所述來訪對象的多個關(guān)鍵剪輯片段；

21、根據(jù)所述來訪視頻集剪輯腳本中的來訪對象轉(zhuǎn)場模式，確定各所述關(guān)鍵剪輯片段之間的轉(zhuǎn)場切換顯示效果配置，基于所述轉(zhuǎn)場切換顯示效果配置和多個所述關(guān)鍵剪輯片段生成視頻片段拼接序列；

22、基于所述來訪視頻集剪輯腳本中的來訪故事描述字幕對所述視頻片段拼接序列添加故事描述字幕，生成針對所述來訪對象對應(yīng)的對象來訪場景視頻集。

23、在一種可行的實(shí)施方式中，所述基于各所述安防監(jiān)控端視頻進(jìn)行來訪目標(biāo)檢測處理得到來訪目標(biāo)檢測元信息，包括：

24、將各所述安防監(jiān)控端視頻輸入來訪目標(biāo)檢測模型中，通過來訪目標(biāo)檢測模型確定來訪目標(biāo)檢測信息、來訪事件信息、來訪目標(biāo)跨端跟蹤信息、來訪目標(biāo)特征信息以及來訪事件行為信息；

25、基于所述來訪目標(biāo)檢測信息、來訪事件信息、來訪目標(biāo)跨端跟蹤信息、來訪目標(biāo)特征信息以及來訪事件行為信息生成來訪目標(biāo)檢測元信息。

26、在一種可行的實(shí)施方式中，所述在安防監(jiān)控界面展示各所述來訪對象和所述來訪對象對應(yīng)的來訪對象事件之后，還包括：

27、響應(yīng)于針對目標(biāo)來訪對象的目標(biāo)來訪對象事件的事件選中操作，輸出對象來訪場景視頻集。

28、第二方面，本說明書實(shí)施例提供了一種訪客處理裝置，所述裝置包括：

29、視頻采集模塊，用于采集安防場景下的多個安防監(jiān)控端視頻；

30、視頻識別模塊，用于基于各所述安防監(jiān)控端視頻，采用安防處理大模型進(jìn)行來訪對象跨端識別得到至少一個來訪對象的對象來訪場景視頻集；

31、事件處理模塊，用于確定所述來訪對象與用戶對象的來訪對象關(guān)系標(biāo)簽，基于所述來訪對象關(guān)系標(biāo)簽和所述對象來訪場景視頻集生成各所述來訪對象的來訪對象事件；

32、所述事件處理模塊，用于在安防監(jiān)控界面展示各所述來訪對象和所述來訪對象對應(yīng)的來訪對象事件。

33、在一種可行的實(shí)施方式中，所述基于各所述安防監(jiān)控端視頻，采用安防處理大模型進(jìn)行來訪對象跨端識別得到至少一個來訪對象的對象來訪場景視頻集，包括：

34、基于各所述安防監(jiān)控端視頻進(jìn)行來訪目標(biāo)檢測處理得到來訪目標(biāo)檢測元信息；

35、采用安防處理大模型基于所述多個安防監(jiān)控端視頻和所述來訪目標(biāo)解析元信息進(jìn)行來訪對象跨端識別確定至少一個來訪對象，并從所述多個安防監(jiān)控端視頻提取針對所述來訪對象對應(yīng)的對象來訪場景視頻集。

36、在一種可行的實(shí)施方式中，所述采用安防處理大模型基于所述多個安防監(jiān)控端視頻和所述來訪目標(biāo)解析元信息進(jìn)行來訪對象跨端識別確定至少一個來訪對象，并從所述多個安防監(jiān)控端視頻提取針對所述來訪對象對應(yīng)的對象來訪場景視頻集，包括：

37、采用安防處理大模型基于所述多個安防監(jiān)控端視頻和所述來訪目標(biāo)解析元信息進(jìn)行來訪對象跨端識別確定至少一個來訪對象；

38、采用安防處理大模型確定針對所述來訪對象的目標(biāo)運(yùn)動描述文本和目標(biāo)運(yùn)動描述關(guān)鍵幀，基于所述目標(biāo)運(yùn)動描述文本和所述目標(biāo)運(yùn)動描述關(guān)鍵幀進(jìn)行多模態(tài)融合得到潛在來訪對象得到目標(biāo)運(yùn)動描述事件信息；

39、采用安防處理大模型基于所述目標(biāo)運(yùn)動描述事件信息生成對所述多個安防監(jiān)控端視頻的來訪視頻集剪輯腳本；

40、基于所述來訪視頻集剪輯腳本從所述多個安防監(jiān)控端視頻提取針對所述來訪對象對應(yīng)的對象來訪場景視頻集。

41、在一種可行的實(shí)施方式中，所述采用安防處理大模型基于所述目標(biāo)運(yùn)動描述事件信息生成對所述多個安防監(jiān)控端視頻的來訪視頻集剪輯腳本，包括：

42、采用安防處理大模型基于所述目標(biāo)運(yùn)動描述事件信息對所述多個安防監(jiān)控端視頻進(jìn)行關(guān)鍵剪輯片段解析處理得到所述來訪對象對應(yīng)的來訪視頻集剪輯時間；

43、對所述來訪對象的多個關(guān)鍵剪輯片段確定來訪對象轉(zhuǎn)場模式和來訪故事描述字幕；

44、基于所述來訪視頻集剪輯時間、所述來訪對象轉(zhuǎn)場模式和所述來訪故事描述字幕生成對所述多個安防監(jiān)控端視頻的來訪視頻集剪輯腳本。

45、在一種可行的實(shí)施方式中，所述基于所述來訪視頻集剪輯腳本從所述多個安防監(jiān)控端視頻提取針對所述來訪對象對應(yīng)的對象來訪場景視頻集，包括：

46、基于所述來訪視頻集剪輯腳本中的來訪視頻集剪輯時間從所述多個安防監(jiān)控端視頻中確定針對所述來訪對象的多個關(guān)鍵剪輯片段；

47、根據(jù)所述來訪視頻集剪輯腳本中的來訪對象轉(zhuǎn)場模式，確定各所述關(guān)鍵剪輯片段之間的轉(zhuǎn)場切換顯示效果配置，基于所述轉(zhuǎn)場切換顯示效果配置和多個所述關(guān)鍵剪輯片段生成視頻片段拼接序列；

48、基于所述來訪視頻集剪輯腳本中的來訪故事描述字幕對所述視頻片段拼接序列添加故事描述字幕，生成針對所述來訪對象對應(yīng)的對象來訪場景視頻集。

49、在一種可行的實(shí)施方式中，所述基于各所述安防監(jiān)控端視頻進(jìn)行來訪目標(biāo)檢測處理得到來訪目標(biāo)檢測元信息，包括：

50、將各所述安防監(jiān)控端視頻輸入來訪目標(biāo)檢測模型中，通過來訪目標(biāo)檢測模型確定來訪目標(biāo)檢測信息、來訪事件信息、來訪目標(biāo)跨端跟蹤信息、來訪目標(biāo)特征信息以及來訪事件行為信息；

51、基于所述來訪目標(biāo)檢測信息、來訪事件信息、來訪目標(biāo)跨端跟蹤信息、來訪目標(biāo)特征信息以及來訪事件行為信息生成來訪目標(biāo)檢測元信息。

52、在一種可行的實(shí)施方式中，所述在安防監(jiān)控界面展示各所述來訪對象和所述來訪對象對應(yīng)的來訪對象事件之后，還包括：

53、響應(yīng)于針對目標(biāo)來訪對象的目標(biāo)來訪對象事件的事件選中操作，輸出對象來訪場景視頻集。

54、第三方面，本說明書實(shí)施例提供一種計算機(jī)存儲介質(zhì)，所述計算機(jī)存儲介質(zhì)存儲有多條指令，所述指令適于由處理器加載并執(zhí)行上述的方法步驟。

55、第四方面，本說明書實(shí)施例提供一種電子設(shè)備，可包括：處理器和存儲器；其中，所述存儲器存儲有計算機(jī)程序，所述計算機(jī)程序適于由所述處理器加載并執(zhí)行上述的方法步驟。

56、本說明書一些實(shí)施例提供的技術(shù)方案帶來的有益效果至少包括：

57、在本說明書一個或多個實(shí)施例中，通過采集安防場景下的多個安防監(jiān)控端視頻，基于各安防監(jiān)控端視頻，采用安防處理大模型進(jìn)行來訪對象跨端識別得到至少一個來訪對象的對象來訪場景視頻集，確定來訪對象與用戶對象的來訪對象關(guān)系標(biāo)簽，基于來訪對象關(guān)系標(biāo)簽和對象來訪場景視頻集生成各來訪對象的來訪對象事件，在安防監(jiān)控界面展示各來訪對象和來訪對象對應(yīng)的來訪對象事件，實(shí)現(xiàn)了高效、準(zhǔn)確且故事化的安防監(jiān)控數(shù)據(jù)整合，避免了相關(guān)技術(shù)中安防監(jiān)控場景下訪客處理不智能的局限，不僅提高了智能家居安防場景下多攝像頭數(shù)據(jù)處理的時空連續(xù)性和智能化水平，還使用戶能夠快速定位和回放特定訪客的完整來訪事件，極大地提升了安防監(jiān)控系統(tǒng)的實(shí)時性、準(zhǔn)確性和用戶體驗(yàn)。