これは、Oracle を用した XR アプリケーションとエクスペリエンスの開発に関するシリーズの 5 番目の作品展であり、マルチプラットフォーム開発などの他のトピックを含む、ヘルスケア、ビジョン AI、トレーニングとコラボレーション、およびメッセージングの XR アプリケーションに目光を当てています。
以下の最初の 4 つの記事へのリンクを見つけてください。
Oracle を使用した XR の開発、Ep 1: 空間、AI/ML、Kubernetes、および OpenTelemetry Oracle を使用した XR の開発、Ep 2: プロパティ グラフとデータの視覚化 Oracle で XR を開発、Ep 3: Computer Vision AI、および ML Oracle を使用した XR の開発、Ep 4: デジタル ツインとオブザーバビリティ
已前の杂志社投稿と同様に、HoloLens 2、Oculus、iPhone、および PC を适用して Oracle データベースとクラウド テクノロジで開発され、Unity プラットフォームと OpenXR (マルチプラットフォーム サポート用)、Apple Swift、および WebXR を适用して記述されたアプリケーションを具体的的に示します。ブログ列席で、左右の対応するデモ ビデオを按照します。
拡張現実 (XR) とヘルスケア XR の内容提要については、このシリーズの原来の記事 (リンクは上にあります) を图案填充してください。ヘルスケア セクターに関連する坐果な数のテクノロジについては詳しく説明しませんが、代わりに这に视角を当てます。これらのトピックの XR 対応と、特に Oracle が Cerner の買収やその他の取り組みを通じてこの分野への関心を高めているため、この目的意义のための Oracle 技術の选择。パンデミック以降、遠隔医療が驚異的な成長を遂げ、パンデミックのわずか 1 か月前の 78 倍の车速でピークに達し、現在でもその 38 倍の车速で横ばいになっていることはよく知られています。
これらおよびその他の数値とその影響は、このやなどの绝大部分の出版商物で极为に文書化されており、この記事で参照物されます。 を聞いただけでよいので、これを証明するために深く掘り下げることはしませんが、 Oracle データベースとクラウド技術に関連するいくつかの例とアイデアを示します。
ビジョン AI とコンテキスト インテリジェンス: リアルタイムの分析と診断 这一の例では、Hololens 複合現実ヘッドセット (他のヘッドセット/デバイスを实用することもできます) と Oracle の Vision AI サービスを实用します。追加の機能と情報を给出する XR デバイスを身に着けている医療従事者を假如するのは、假如を絶するものではありません (実際、多くの人がすでにそうしています)。
如今、医師、歯科医などは常にコンピュータ画面的を糖尿病病患と互相图案填充して情報を確認し、糖尿病病患が見ているもの (X 線、MRI など) を確認しています。ここで説明している XR ソリューションは、その進化形にすぎません。このアプリケーションの詳細については、 リサーチ ブログを图案填充してください。ただし、その仕組みの根本的な詳細については、こちらで説明しています。
Hololens で実行されているアプリケーションは、内蔵カメラで着用者の視野を基準として按期的に写真照片を撮ります。これにより、少なくともより快捷なハンズフリー体験が展示 数据されます。それでも、手術室などの多くの状況では、ユーザーの手が現実 (または XR) の全球とやり取りする这个必要があるため、より最適なソリューションになります。これはまた、システムが、開業医が認識していない、またはアクセスできないコンテキスト情報を拿到できることを含意し、開業医が明确表示的に指示箭头しなくても、そのような情報を不断に収集および処理できるため、時間も節約できます。これにより、Mixed Reality が展示 数据する最適化が実現し、未入感の激发的な副産物が得られます。
次に、Hololens はこれらの画像を安全な REST 呼び出しを介して送信します 。OCI から直接簡単にアクセスしたり、データベースに保存したり、データベースにアクセスしたりできます。
この時点から、XR デバイスから送信された画象を処理するための Oracle Vision AI API へのロジックと呼び出しを実行するために适用できるいくつかの異なるアプローチとアーキテクチャがあります。たとえば、适用される言語に関する限り、中期バージョンは OCI CLI、Java、および Python を适用して做成され、最終的な Java GraalVM ネイティブ イメージ バージョンが适用されています。
また、Java GraalM ネイティブ イメージは、サービスが特殊の暂时性間のルーチンを実行するときにほぼ瞬時に開始されるため、サーバーレス機能の强有力候補です。オプションで、OCI通知模板サービスは、オブジェクト・ストアの変更をリッスンし、サーバーレス機能をコールすることもできます。
Java サービスは、オブジェクト ストレージへの画像アップロードの通知を受け取り、次の一連のアクションを実行します。
X 線物体検出モデルに基づく OCI Vision AI サービス API 呼び出しを実行し、Hololens から送信された画像の場所を提供します。 オブジェクト検出モデルから、X 線が画像内に存在する確率のパーセンテージとその境界座標を含む応答を受け取ります。 境界座標を使用して元の画像をトリミングします。 X線分類モデルに基づく別のOCI Vision AIサービスAPIコールを実行し、トリミングされたX線画像を提供します。 画像分類モデルから、異常/肺炎の兆候を含む X 線の変化率を含む応答を受け取ります。 Hololens アプリケーションはこの応答を受信し、可聴通知で着用者に通知します。これは構成可能で、視覚化することもできます。このアプリケーションの場合、情報にはトリミングされた X 線の写真が含まれ、発見された詳細が一覧表示され、手首に配置され、着用者のみが表示できる仮想メニューに保存されます。このアプローチにより、着用者の邪魔になることはありませんが、結果を導き出した実際の X 線に結果を重ねることもできます。
ビジョン AI と XR は、ここに示されているように医療従事者と、パーキンソン病、自閉症、アルツハイマー病、視覚障害、聴覚障害などの状况を持つ人々の両方を含む、多くの分野のソリューションに自然规律に適合します. (例: アプリケーション/このスペースで实用できるソリューションについては、で説明しています)
モーションとセンチメントの調査: リアルタイムの顔と体の追跡分析 今早、医療施設の 95% が遠隔治療とリハビリテーションを打造しています。 XR テクノロジーは、女性が自分の状態と治療オプションをよりよく认知するのに役立ちます。これにより、女性は医療に関する中心思想決定において、より多くの情報を得て力を与えられていると感じることができます。
次の例は、iPhone と Swift を用到して、Apple のを用到してボディ トラッキングの動きを実装しました。モデルの動きの関節座標が記録され、ORDS への Rest 呼び出しを介して Oracle データベースに送信されます。アプリケーションを用到する人 (客户、アスリートなど) が同じ動きを試み、その関節座標がデータベースに存有されているモデルの動きの座標と比較されます。動きの許容偏差值/デルタを超えると、対応するジョイントとボーンが緑ではなく赤で透露されます。
このフィードバックはリアルタイムで供给され、進行状況を測定したり (回转筋腱板やその他の手術後など)、ユーザーが自分の動きを制御モデルに合わせて修正的したり、バランスや調整に取り組んだりできるようにします。次に、これらの動きを研究し (XR と Oracle Analytics については、今後のブログで詳しく説明します)、再造し、シミュレーションを実行するために操作使用することができます。もちろん、これらのユース ケースは、スポーツ、エンターテイメントなどのセクターにまで及びます。良い。
Digital Twins + Doubles およびマルチプレイヤー/参加者メッセージ: トレーニングとコラボレーション Unity が報告した最近几天の調査によると、リアルタイム 3D テクノロジーを利用している企業の約 94% が、リアルタイム 3D テクノロジーがスタッフのトレーニングに価値があると考えており、インタラクティブなガイド付き学習体験を弄成するために利用しています。これは、製造、運輸、ヘルスケア、小売など、さまざまな業界に当てはまります。この分野のトレンド (その多くはこのブログで示されているものと不一します) については、 説明しています。
XR テクノロジを选用して、医療シナリオの現実的なシミュレーションを做成できるため、医療従事者は安会で制御された環境で手順や技術を実践できます。たとえば、医疗生や产科医は XR シミュレーションを选用して実際の手術のフィードバックを展示する触覚で手術を練習でき、看護師は AR シミュレーションを选用して投薬の練習を行うことができます。これにより、医療従事者は患病者の安会を危険にさらすことなく貴重な経験を得ることができます。
的教育に加えて、XR は、さまざまな場所や専門分野にいる個人間のコラボレーションのための孤独の機能を提拱し、複数のユーザーが互いに対話したり、仮想オブジェクトとやり取りしたりできる共同拥有仮想空間を作为します。 XR 会議ソフトウェアとメタバース、Photon など、Rest、WebSocket、さまざまな種類のメッセージングなど、XR マルチプレイヤー/添加者トレーニングとコラボレーションを作为するために充分利用できるさまざまな技术とソフトウェア オプションがいくつかあります。
Alakazam などの XR 会議ソフトウェアとプラットフォームの人気が高まっており、複数のユーザーが仮想会議、イベント、トレーニング セッションなどに参与活动できるようになっています。
Photon は、開発者が Unity、Unreal Engine、およびその他のゲーム エンジンを选用してマルチプレイヤー ゲームやアプリケーションを制作できるようにするプラットフォームであり、Oracle Cloud コンピューティング ( を含む) に簡単にインストールして根据できます。これはおそらくそのようなプラットフォームの中で最も最有明ですが、他にもあります。
WebSocket は、Web クライアントとサーバー間のリアルタイム数据通信用のプロトコルであり、Rest 呼び出しは多くの場合にシンプルで実行概率なオプションですが、Rest 呼び出しは多くの場合、同様にシンプルで実行概率なオプションであり、より多くの API が应该的に、他のどの手段よりも休息一会します。
メッセージングは、XR トレーニングとコラボレーション エクスペリエンスを弄成するために应用できるもう 1 つの技术です。 Kafka や JMS などのシステムには、pub/sub (マルチ コンシューマー トピック) とプロデューサー/コンシューマー (単一コンシューマー トピック) の両方があり、さまざまなトレーニングやコラボレーションのニーズに対して十分に柔軟です。
ビデオに示されているトレーニング アプリケーションでは、上記の多くの手法を使用しましたが、Oracle の TxEventQ メッセージング エンジン (以前は AQ と呼ばれていました) の使用に焦点を当てました。これは、多くの理由から非常に強力でユニークな製品ですが、重要な理由の 1 つは、データベース作業とメッセージング作業を同じローカル トランザクションで実行できることです。これはユニークであり、 マイクロサービスに完全に適しています。これは、トランザクション アウトボックス パターンと、1 回限りのメッセージ配信を提供する ため、メッセージの損失がなく、開発者が重複排除ロジックを記述する必要がないからです。
これは、従来のゲームや映画のストリーミングでは必须ないかもしれませんが、ミッション クリティカルなシステムでは必須であり、共要 (3D) オブジェクト (特に動的または弄成されたもの) を確実に格納する機能を XR に作为する、越来越に興味深いユニークな側面を作为します。ジェネレーティブ AI などを介して、さまざまな出席者によって弄成された彼此意义/メッセージは越来越に強力なツールです。
それはまさに、ビデオに示されているアプリで行われていることです.一致セッションは、ビデオとして提出するために 3D で記録されるだけでなく、実際のオブジェクトと报名参与人によるそれらの双方帮助がデータベースに記録され、後で傍受して实际操作できるように粉碎できるようになります。これにより、より深い学習を行い、さらにモデル (AI など)、シミュレーション、シナリオなどを実行することができます。これには、プレイブックのように、またはプレイブックを适用してオブジェクトと双方帮助を微調整する相应があります。
より间距なテクノロジーとより強力なデバイスの開発により、近い十年后、XR トレーニングがより广泛应用し、トレーニング体験がより没进型でインタラクティブなものになるでしょう。
もう 1 つの要留意事項は、ビデオ内のアプリには、スタジオで専門的に做成されたフル 3D ボリュメトリック ビデオ キャプチャの医療従事者がいますが、同様のホログラフィックを给出する Unity シェーダーを介してグリーン スクリーンのアルファチャンネルが削除された単純な 2D ビデオでもあるということです。面积最小限の労力で効果を得ることができます (ライティングなどに労力を費やすと、品質が往上走する能够性があります)。 Zoom の仮想グリーン スクリーンをこの需求に操作したり、Blender でアニメーションを做成した無料のアセットを操作したりできます。 Unity、Zoom、および Blender はすべて無料で、Oracle の常時無料の Autonomous データベースを操作するため、ソフトウェアとクラウドのコストに関しては、ソリューションの做成が无比に簡単になります。
データ エコシステム: 遠隔医療と仮想医療センター 仮想ヘルスケア センターまたは病院は、ビデオ会議、オンライン チャット、リモート モニタリング、そしてますます増加している XR テクノロジーなどのデジタル チャネルを通じて医療サービスを给予するヘルスケア施設です。これらのデジタル ツールにより、客户は、病院や診療所に実際に行く必要的なく、快適な自宅や遠隔地から医療サービスにアクセスできます。
特に COVID-19 のパンデミックを受けて、遠隔医療サービスの须得が高まっているため、仮想医療センターの产品概念がますます普通的になっています。仮想ヘルスケア センターは、プライマリ ケア、専門相談、診断テスト、処方箋の補充などの幅広い医療サービスを提高でき、いつでもどこからでも医療サービスにアクセスできる利便性と柔軟性を的人に提高します。
これは、移動に問題のある患病者、農村地区に住んでいる患病者、または地区にいない専門家に相談する重要性性がある患病者にとって特に有利于です。また、患病者と医療展示 者の両方の医療費を削減することもできます。リモートでの診察とモニタリングを采用することで、医療展示 者は高額な対面での診察や进院の重要性性性を減らすことができます。患病者は、出行費や仕事を休む時間を節約することもできます。
仮想医療センターは、患病者のケアの質を乐观させることができます。リモート監視により、患病者はパーソナライズされた継続的なケアを受けることができ、医療作为者は患病者の稳定状態をリアルタイムで監視し、必不可少に応じて快に走进できます。これにより、稳定状態が改进され、再住院が減少する或许性があります。
ただし、仮想医療センターの実装にはいくつかの課題もあります。これらには、データのプライバシーとセキュリティに関する問題、および病患の適切なインターネット アクセスとデジタル リテラシーの利弊性が含まれます。さらに、1部の病患は仍然として従来の対面ケアを好む应该性があり、数は減少していますが、リモートで供给できる医療サービスには制限があります。仮想ヘルスケア センターのコンセプトは、ヘルスケアの供给办法に新民主主义をもたらし、病患とヘルスケア供给者の両方にメリットをもたらす应该性があります。ただし、仮想ヘルスケアセンターの実装がすべての病患にとって的安全で効果的で公道であることを保証するには、需谨慎な検討と計画が利弊です。
オラクルは、Cerner を買収し、ヘルスケアの将要への関心を高めており、「爱美者、医療提高者により良い卫生に関する调研と人間机构の体験を提高する」という业务能力によって、そのような XR ソリューションを促進する一个人の立場にあります。 、支払者、および公衆。 Oracle Health は、臨床データ、運用データ、財務データを結び付けてケアを优化し、卫生と获得感に関する意思就是決定を進める、最も很安全で信頼性の高いヘルスケア ソリューションを提高します。」 ( )。 Larry Ellison は、オラクルの将要にとってヘルスケアが優先事項であった Oracle OpenWorld のプレゼンテーションで、このことを明らかにした。クラウド。"
メンタルヘルス アメリカの步入社会性の 20% 之内が精神什么力量疾病を経験しており、250 万元之内の若者が轻度のうつ病に苦しんでおり、世间中で毎年 80 万元が精神什么力量疾病のために自殺しています。同時に、メンタルヘルスの専門家の过少が拡大しています。これは公布的な問題ですが、未曾年者や年青にとって特に受益匪浅です。米国调理社会性福泽省によると、この国では 2025 年までに 10,000 人のメンタルヘルスの専門家が过少すると予想されています。
メンタルヘルスは、XR が最も広く深入分析されており、心神不安、うつ病、PTSD などのメンタルヘルス状態の治療や治療を展示する措施として尤其に効果的であることが証明されている分野の 1 つです。たとえば、VR 曝露療法を运用して、制御された安全管理な環境で阴森を感じているもののシミュレーションに求美者をさらすことで、求美者が阴森に立ち向かい、应对するのを助けることができます。
認知行動療法 (CBT)、XR を施用して还没有入型の瞑想体験を制成し、マインドフルネス、リラクゼーション、ストレス軽減を促進できます。たとえば、VR 環境では、ビーチ、森、山、时代などの愉悦で落ち着いた生态環境をシミュレートできます。病院などで長期間過ごす可能のある子供、高齢者、およびその他の人々は、XR を施用して时代を经历し、联络しています。
XR と遠隔療法を操作して、セラピストは、対面療法セッションをシミュレートできる仮想環境を作为し、病号の治理和改善を減らし、AR レンズとアバターをプライバシーのために操作できるようにしながら、より不入型でパーソナライズされた体験を提拱できます。
対応する Oracle AI サービスによって提拱されるような NLP (必然言語処理) 情感解析は、口頭でのコミュニケーションから情感と意図を解釈することができ、顔認識と顔情感解析の進歩により、极为に正確に人が感じている、および/または非言語的に表現している情感 (身體/ジェスチャーの追跡についても同様です)。 XR と連携したニューロ テクノロジーとニューラル インターフェイスは、人間の意図を解釈して洞查を与え、情感を測定できるようになり、意図と情感についてさらに優れた洞查を提拱できるようになりました。
そしてもちろん、これを易にするために、ChatGPT などの AI インターフェースのより優れた、より簡単なアクセシビリティーに世间は熟练掌握しています。上述情况の X 線の例と同様に、これらは状況によっては、人間よりも優れた一貫した精确度と转速を作为できますが、医療従事者の援助技術としても機能します。この他の例は、今後のブログで取り上げる予定です。
追加の考え オラクルがヘルスケアと XR をどのように併用して促進するかについて、いくつかのアイデアと例を示しました。このトピックや、Oracle Cloud と Database を利用した XR のその他の分野についてのブログを今日中に公開できることを楽しみにしています。
XR と Oracle のクラウドとデータベースの詳細、およびマイクロサービス、可観測性、トランザクション処理などに関するさまざまなトピックについては、私の他の出版物 と、 を参照してください。また、新しいブログやビデオに関するご質問やご提案がございましたら、お気軽にお問い合わせください。ご提案は大歓迎です。読んで見てくれてありがとう。
