混合實境的概念，學術界其實在1968年就已經提出，50年前，學校的實驗室就已經開始許多相關的研究與想法，譬如唐聖凱1999年在交通大學就讀時，就有許多對於VR頭盔與混合實境的專案。50年後，Oculus與HoloLens因為相關技術與環境逐漸成熟，成為VR與AR產品的代表，並帶出商機。其中頭戴式裝置如何做得輕巧便利讓大眾接受，以及互動介面如何讓使用者能夠直覺地使用，都是目前待解的設計議題。
2D到3D的轉變與瓶頸
唐聖凱指出，現在我們使用的鍵盤與滑鼠，便是屬於第一階段2D間接式的人機互動。之後發展到了iPad、iPhone的觸控模式，雖然接觸的仍是玻璃，但它透過許多視覺設計，讓這個接觸相當擬真，我們稱它為半直接接觸。到了3D應用，追求的是直接的操控感，過去還得藉由如六軸控制器這一類的裝置來互動，現在則可以用手直接操控虛擬的介面與物件，這也是一個由間接操控到直接互動的過程。
在這個未來的願景下，技術發展仍具有一定的瓶頸。在資訊導入端（input），AI是否能穩定地偵測訊號與辨識操控的行為是一大挑戰。在資訊輸出端（output），目前許多應用採用手套，但手套在很多狀況下無法穿戴，而且使用者還要購買與攜帶額外的裝置，這可能會降低購買的欲望以及引起某種程度的不便。所以HoloLens在一開始就設定不使用手套，因此在沒有觸覺回饋的狀況下，改以視覺與聲音來彌補觸覺的缺陷。
唐聖凱說，HoloLens的起源是Xbox的Kinect，HoloLens的開發團隊是Kinect的原班人馬，在HoloLens辨識並追蹤人的行動，實際上是把遊戲主機Xbox的體驗延伸到另一個平台。當時同時間推出的Wii和PlayStation，都需要用戶手持控制器才能輸入姿態，而Kinect完全依靠鏡頭就解決了，且效果更好。
HoloLens擷取Kinect沒有使用到的環境網面，讓電腦可以藉此建構實體與虛擬空間的環境，並將人在虛擬環境中予以定位。
Kinect後來雖然停產，但許多技術依然在微軟其他產品發光發熱，比如人工語音助理Cortana、人臉ID系統Windows Hello。當然，還包括集Kinect技術之大成者─ HoloLens。
目前微軟在HoloLens的運用仍以企業用戶（B2B）為主，包括國防、醫療、教育、設計等，都有許多不同的應用，VR、AR、MR應用端的發展也跟企業的DNA有關，微軟一直以企業用戶為主要客群，所以在HoloLens孵化初期即與許多企業合作，也造就現今的應用成果。
