在科技部「數位經濟技術創新研發與應用」專案下，清華大學電機資訊學院和iStaging愛實境合作，完成「智慧全景3D重建」研究，透過AI只要單張全景影像，就能重建出室內3D格局模型，未來可應用在房仲業，提供更具空間感的線上或VR沈浸看房體驗，旅宿服務平臺上也能讓消費者訂房前，預先觀看不同房間格局。

 

這項研究凝聚產學資源完成，由愛實境提供2500張室內全景圖片，結合清大電機資訊學院研究團隊開發的智慧全景3D重建技術，標榜不需要價格昂貴的專業全景相機，只要一般智慧型手機拍攝的單張室內全景影像，透過機器學習模型，不需要人工處理，就能重建室內3D格局模型。清大研究團隊今年6月將赴美國加州，準備在國際電腦視覺與圖形辨識研討會(CVPR)上發表。

 

清華大學電機工程學系副教授孫民表示，傳統室內全景瀏覽服務仰賴人工處理，在室內的定點拍攝全景影像，使用者只能瀏覽該定點的室內全景，雖然可結合多張全景影像，例如客廳、臥室、廚房等室內全景影像，讓使用者看到更多室內樣貌，但使用者在不同室內定點間切換，無法讓使用者在3D模型的虛擬空間中移動觀看。

 

他解釋智慧全景3D重建技術，就像小朋友折紙組合成立體的房屋一樣，研究人員先以人工標註方式，為2500張室內全景圖片標註天花板與牆壁、牆壁與牆壁、牆壁與地板，室內不同角落的折線，2500張全景影像中的8成標註圖片用於訓練機器學習模型，另2成用於測試模型辨識的準確度，如此便能訓練系統辨識室內全景影像，重建出室內3D格局模型。而透過這項智慧全景3D室內重建格局技術，只要單張室內全景影像，在視線沒有遮蔽的條件下就能重建室內3D模型，除了可以電腦在室內3D格局模型內移動，若搭配VR頭戴及控制裝置，還能帶來更沈浸的視覺體驗。

 

傳統室內3D建模需使用昂貴的Lidar測距裝置，以獲得室內的深度資訊，由人工方式完成室內3D模型建模，而清大的智慧全景3D重建技術強調只要一般智慧型手機拍攝單張室內全景，就能透過機器學習技術，重建室內3D場景。

 

不過，這項技術僅能以沒有視線遮蔽的單張室內全景影像，重建出室內場景的3D模型，例如客廳室內3D格局模型，無法重建被牆壁阻隔的臥室、陽臺等3D格局，清大也和台科大合作，研究拼接多張室內全景影像，如客廳、臥室、廚房等多張全景影像，重建出更完整的室內3D格局。

 

孫民表示，現在單張室內全景影像，經過人工標註訓練、測試後，和LayoutNet的技術相比，準確度提高將近15%。目前正在進行多室內全景影像重建，以重建出更完整的室內3D格局模型，未來還要讓室內的物件如桌椅、電視或傢俱，讓使用者能自由挪動，更全面3D體驗。

 

清大研究團隊和愛實境的合作，未來也能透過愛實境的AR、VR內容平臺，將這項技術擴展至海外市場。