帳號:
密碼:
最新動態
產業快訊
CTIMES / 文章 /
醫療領域正邁入XR+5G時代
電信業者跨域衍生應用

【作者: 盧傑瑞】   2021年08月09日 星期一

瀏覽人次:【13880】

由於AR/VR技術可以突破時空與地域性限制,且隨著技術的進步和設備的低成本化,相信未來在醫療救治支援和教育的導入應用,將會越來越容易。在即將到來的5G時代,更可以達到毫無延遲地進行大量的資訊傳輸,讓XR + 5G 的平台在醫療的領域有著更廣大的應用性。


由於5G、雲端計算和人工智慧(AI)的技術逐漸成熟,在醫療領域也持續將這方面的技術導入到遠端醫療或教學。5G已於2020年春季在日本投入商業使用。儘管一般的消費者還沒有感受到5G帶來的好處,但隨著越來越多的智慧手機與該系統相容,5G正逐漸成為我們日常生活的一部分。


5G通訊提供高速、高容量、低延遲和多終端連接,在導入一般消費性應用之前,已經在公共基礎建設上進行各種各樣應用的開發,包括自動駕駛、物聯網等,但其中人們對於在醫學中的應用期望值相當高。由於先進影像與通訊技術不斷的開發,因此醫療領域也非常期待可在不久的將來能應用於遠端治療和教學上。


電信業者正積極跨入XR + 5G +醫療

很多人在聽到XR(VR/AR/MR…)時可,大多都只會聯想到娛樂,但近年來各種商業應用一直在擴大。例如,醫療領域已經是VR應用的先進領域之一,而各種驗證計畫在這兩年也持續提出來,尤其日本各大電信業者無不全力投入這方面的開發和驗證。


針對遠端手術的應用,NTT DoCoMo正積極展開一系列的XR + 5G + 醫療驗證計畫。在2021年4月,NTT DoCoMo與神戶大學、Medicaid、神戶市政府合作,利用5G來進行遠端手術機器人的驗證。


在這次遠端手術的驗證中,採用了日本Medicaroid所開發的日本第一個手術支援機器人「hinotori手術機器人系統(hinotori Surgical Robot System)」。這套系統已經被神戶大學醫院的國際癌症中心(ICCRC)成功地和MeDIP進行日本第一次遠端模擬手術。這也是世界上第一個成功驗證計畫。展示的視訊影片中,近乎即時的遠端手術支援,沒有出現任何延遲,這證明了可以透過5G和機器人進行遠端醫療支援。


而這樣的遠端醫療支援,更可利用來幫助缺乏經驗的醫師,即使處在偏遠地區,也能夠獲得資深醫師的指導。進一步的,未來還將可被用在培訓,以及遠距協助年輕醫師進行外科手術。


另外,NTT DoCoMo還與東京女子醫科大學合作進行「行動SCOT」。 這個概念是在卡車的內部,安裝了由東京女子醫科大學、DENSO和其他公司開發的網路化治療系統,透過5G通訊網路,將已經高度物聯網化的行動SCOT,和醫院的策略辦公桌連接,使醫生之間能夠即時交換資訊,並支援遠端手術,來達到「可行走的智慧手術室」目標。此計畫從2019年開始進行驗證,經過2年的時間,成功的多次傳輸外科醫師的手部和4K內視鏡的高解析影像。


NTT DoCoMo也在2020年9月與Holoeyes公司展開策略合作。整合Holoeyes的?Holoeyes MD?與DoCoMo的XR(VR、AR、MR總稱)元件?Magic Leap 1」,向醫療機構提供遠距的影像傳輸服務(圖1)。



圖1 : 整合Holoeyes MD與Magic Leap 1的應用。(source:PRTime)
圖1 : 整合Holoeyes MD與Magic Leap 1的應用。(source:PRTime)

利用5G和XR技術進行遠端手術的實驗

2021年7月,軟銀、Holoeyes和Dental Prediction共同合作,驗證透過5G和XR來進行遠端手術的可靠性和實用性。這項計畫是利用5G、XR技術和3D列印,對於一名年輕牙醫提供診斷和治療指導,並透過VR/AR影像技術來進行手術。


目前多數年輕牙醫的醫療經驗學習,大多都是診所的資深醫師利用臨床診治機會進行傳授;但問題是大部分知識和技能的獲得,幾乎都是取決於現場資深醫師的指導方式(圖2)。


圖2 : 驗證實驗中使用的3D影像和3D列印模型與現場(source:神戶市政府)
圖2 : 驗證實驗中使用的3D影像和3D列印模型與現場(source:神戶市政府)

這次的驗證實驗是針對牙齒缺失(因蛀牙或牙周病而拔除)時,進行的植牙手術。具體來說,東京現場(軟銀總部)指導醫生和大阪現場(5G X LAB OSAKA)的年輕牙醫,所使用的都是使用Holoeyes的VR設備「Holoeyes XR」,以及遠端線上共享會議服務「Holoeyes VS」。Holoeyes XR是Holoeyes為各種設備提供的醫療影像顯示服務開發的技術,而Holoeyes VS則是提供遠端線上共享會議服務。在網路方面是利用軟銀的5G網路來進行VR和AR影像的傳送和接收,以及提供醫療指導和手術支援。


基於這個實驗的結果,Holoeyes的目標是,在未來建立一個遠端手術支援解決方案,對牙科診所提供商業服務。整個驗證實驗分為2大部分,首先,指導醫師利用病人的頜骨3D列印模型進行教學,同時在AR空間中操作3D模型,而年輕的牙醫將在觀看AR影像的同時,可以透過在模型上鑽孔來體驗和練習一系列的植牙手術。最後,年輕的牙醫將會在大阪市的一家牙科診所為真正的病人進行手術,而指導醫師則是透過東京的AR影像為他提供支援。


利用虛擬空間技術 建構藥物的分子結構和器官3D影像

針對虛擬空間技術應用,大日本住友製藥和KDDI進行深入合作,針對藥物的分子結構和器官,利用虛擬空間技術,進行3D影像的建立,只要透過智慧眼鏡「NrealLight」,就可以讓醫療相關人員更輕鬆地體驗器官、細胞和藥物分子結構的3D影像。


這是日本企業首次將此一技術全面應用於醫療。初期預計這項技術將應用於線上簡報和講座,並於2020財政年度期間作為MR和醫療人員之間的一種新的溝通方法。


為此,大日本住友製藥成立市場戰略推進室,推動數位技術作為MR和醫療專業人士之間的通訊與資訊傳遞。目前大日本住友製藥透過「iMRs(遠端專用MRs)」進行的預約式交流平台,以及最新開發的「vMR"(虛擬MR)」技術,提供視訊內容。


大日本住友製藥和KDDI將強化兩個領域的合作,包括:為充分應用智慧型眼鏡所能呈現的視覺能力,將大量建立3D視訊內容,以及為線上資訊會議和講座,將利用與各種VR設備建立一個虛擬交流空間。這個交流空間的內容和主題,不受參與者的位置或地理限制,可以非常便利地參與和觀看,藥物的詳細資訊,以及器官、細胞和藥物分子結構的3D影像。


倫敦醫生使用微軟的增強現實護目鏡減少COVID-19暴露

根據BBC新聞報導,在疫情爆發期間,英國已有100多名國家衛生系統的工作人員死亡,而且還有更多的人受到感染正在醫治當中。許多學者專家都表示,對於醫護人員來說,目前並沒有足夠的個人防護設備,因為至少還要在COVID-19的環境中生活一年,可能會更久。因此期望能夠有一個安全的解決方案,來讓醫護人員安心的進行診治的工作。


倫敦的醫院正在測試微軟的HoloLens技術,期望能以降低醫生接觸冠狀病毒(COVID-19)患者的數量,該計畫如果能成功,可能會在整個國家衛生服務中推廣。戴著具有擴充實境能力智慧型眼鏡的醫師,可以利用微軟的Teams視訊會議軟體,將病人檢查的影像和音訊播放給房間外的同事。利用這樣的技術平台,可以最大限度地降低醫護人員暴露在高風險環境的次數,也減少了所需的防護設備數量,根據微軟提供的資料,這些設備使醫療人員接觸疾病的時間減少了83%(圖3)。



圖3 : 利用HoloLens成功使醫療人員接觸疾病的時間減少了83%。 (source:微軟)
圖3 : 利用HoloLens成功使醫療人員接觸疾病的時間減少了83%。 (source:微軟)

另一方面,也能讓患者利用遠端視訊在無壓力下,輕鬆得和醫師交談,以及聽取檢查的結果。冠狀病毒的大流行,推動了各醫療機構大量採用這樣的技術平台,這些平台允許病人和醫師在毫無疾病傳播的風險下完成診療。


然而迄今推動HoloLens在醫療中的應用,並不是非常順利,因為許多醫生都反映個人防護設備經常擋住感測器,因此產品似乎還需要進行一些修改。此外,這個產品平台還必須符合資料管理規則,將設備連接到國家衛生系統的網路。目前,HoloLens的訂價是3000英鎊,也可以利用智慧手機進行多人視訊會議,並且同步存取醫療記錄和X光片。


在醫療的各種應用紛紛展開

醫學教育

VISIBLE BODY 的「人體解剖圖譜」是一款 AR 應用平台,可以3D方式查看男性和女性解剖模型。只要利用手指就可以在解剖模型上旋轉、放大和縮小,並從各個角度和比例下,觀察人體解剖結構。同時還可以再現肌肉和骨骼運動的影片,更深入地了解人體結構。


由Jolly Good、日本醫科大學醫院、京都化學聯合開發的「急救救生VR」是一款可在VR中體驗急救醫療。在與時間賽跑的過程中,急診室的人和物的移動,與正常手術室的移動有很大的不同。通過在真實VR中以重複模擬緊張感,獲得更多的急救經驗和熟悉度。


美國斯坦福大學開發的「The Stanford Virtual Heart」,讓學生利用VR學習和瞭解患有先天性心臟病的心臟。戴上VR頭盔後,透過控制器旋轉VR空間中描繪的心臟,觀察心臟內部,以準確識別心臟的結構、血流和異常區域(如室間隔缺陷和瓣膜疾病)。更可以在手術前,用來向病人的家人解釋手術,幫助他們更清楚地瞭解疾病和手術內容(圖4)。



圖4 : The Stanford Virtual Heart可以利用VR技術學習和瞭解患有先天性心臟病的心臟。(source:stanfordchildrens.org)
圖4 : The Stanford Virtual Heart可以利用VR技術學習和瞭解患有先天性心臟病的心臟。(source:stanfordchildrens.org)

應用在復健

日本mediVR的「mediVR Kagra」是一種利用VR技術的復健醫療設備。它定量評估了步態障礙患者的姿勢平衡和認知能力,主要是患者坐在椅子上,在進行伸手動作時,在可以透過VR技術建立的三維空間中伸手尋找座標。而所獲得的定量資料將被用於復健訓練內容,因為復健訓練內容往往取決於個別治療師的能力,並在適當的時候進行指導(圖5)。



圖5 : mediVR Kagra可以透過VR技術建立三維空間座標。(source:mediVR)
圖5 : mediVR Kagra可以透過VR技術建立三維空間座標。(source:mediVR)

遠程醫療應用

「STAR(增強現實遠程指導系統)」是美國為了軍事目的,利用AR技術所開發的遠端醫療系統。透過STAR系統,可以讓當地的外科醫生將視野分享給遠端的醫療專家,再透過AR指導外科醫生在病人身上的切口位置,以便能順利地進行手術。


位於英國的Proximie也有類似的系統產品。最初開發的目的是利用音訊、視訊和AR技術,為醫療資源有限地區或高風險地區的外科醫生,提供遠端教育和支援,目前該技術已經能夠進行即時手術,不僅在英國,在其他歐洲國家、美國的醫院也已經被廣泛採用(圖6)。



圖6 : 目前Proximie已能夠應用在進行即時手術。(source:Proximie)
圖6 : 目前Proximie已能夠應用在進行即時手術。(source:Proximie)

在世界各地都存在著醫師集中在大城市,醫療院所分佈不均,甚至農村地區的醫師嚴重短缺的問題。所以,可以突破時空與地域性限制的AR/VR技術,相信在醫療救治支援和教育的應用,未來將會變得越來越重要。


另一方面,隨著技術的進步和設備的低成本化,AR/VR技術也越來越容易被導入應用,在即將到來的5G時代,更可以達到毫無延遲地進行大量的資訊傳輸,而讓XR + 5G 的平台在醫療的領域有著更廣大的應用性。


**刊頭圖 (source:Training Industry)


相關文章
打造沉浸式體驗 XR裝置開啟空間運算大門
實現智慧醫療應用 生成式AI讓大數據攻守兼備
用AI解決智慧醫療痛點 從那e間診所談起
建立5G毫米波波束成形器IC模型
5G推升數位服務 持續創新應用並優化體驗
comments powered by Disqus
相關討論
  相關新聞
» 筑波醫電攜手新光醫院於台灣醫療科技展展示成果
» 2024國家藥科獎揭曉 醫材軟體研發見碩果
» 中美萬泰全新27吋醫療級觸控電腦專為手術室設計
» 衛福部攜手耶魯大學附醫 促進醫療資訊優化應用
» 亞大生醫系獲國科會GenAI Star生成式AI百工百業應用競賽優選


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3  v3.20.2048.162.158.79.171
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 /  E-Mail: [email protected]