Dies ist der fünfte Teil einer Reihe über die Entwicklung von XR-Anwendungen und -Erfahrungen mit Oracle. Ich werde insbesondere Anwendungen zeigen, die mit Oracle-Datenbank- und Cloud-Technologien unter Verwendung von HoloLens 2, Oculus, iPhone und PC entwickelt und mit der Unity-Plattform und OpenXR geschrieben wurden. Das erste Beispiel betrifft die Verwendung des Hololens-Mixed-Reality-Headsets (und anderer anderer XR-Geräte).
People Mentioned
Dies ist der fünfte Teil einer Reihe über die Entwicklung von XR-Anwendungen und -Erlebnissen mit Oracle und konzentriert sich auf XR-Anwendungen im Gesundheitswesen, Vision-KI, Schulung und Zusammenarbeit sowie Messaging, einschließlich anderer Themen wie Multiplattform-Entwicklung usw.
Nachfolgend finden Sie die Links zu den ersten vier Artikeln:
Wie in den vorherigen Beiträgen werde ich insbesondere Anwendungen zeigen, die mit Oracle-Datenbank- und Cloud-Technologien unter Verwendung von HoloLens 2, Oculus, iPhone und PC entwickelt und mit der Unity-Plattform und OpenXR (für Unterstützung mehrerer Plattformen), Apple Swift und WebXR geschrieben wurden. Im gesamten Blog werde ich unten auf das entsprechende Demovideo verweisen.
Extended Reality (XR) und Gesundheitswesen
Für einen Überblick über XR verweise ich den Leser auf den ersten Artikel dieser Reihe (der Link befindet sich ebenfalls oben), und ich werde nicht näher auf die große Bandbreite an Technologien im Gesundheitssektor eingehen, sondern mich stattdessen darauf konzentrieren die XR-Aktivierung dieser Themen und der Einsatz von Oracle-Technologie zu diesem Zweck, insbesondere da Oracle durch die Übernahme von Cerner und andere Bemühungen einen verstärkten Fokus auf diesen Bereich legt. Es ist allgemein bekannt, dass die Telegesundheit seit der Pandemie enorm zugenommen hat. Nur einen Monat vor der Pandemie erreichte sie mit der 78-fachen Rate ihren Höhepunkt und pendelte sich selbst jetzt immer noch bei der 38-fachen Rate ein.
Diese und andere Zahlen und ihre Auswirkungen sind in zahlreichen Veröffentlichungen gut dokumentiert, wie zum Beispiel diesem und dem , auf die in diesem Artikel Bezug genommen wird. Man muss nur von der gehört haben, um zu verstehen, inwieweit XR dieser Branche helfen wird, und deshalb werde ich mich auch hier nicht zu sehr mit dem Versuch befassen, dies zu beweisen, aber Geben Sie anschließend einige Beispiele und Ideen zu Oracle-Datenbank- und Cloud-Technologien.
Vision AI und Contextual Intelligence: Echtzeitanalyse und Diagnose
Das erste Beispiel betrifft die Verwendung des Hololens-Mixed-Reality-Headsets (obwohl auch andere Headsets/Geräte verwendet werden könnten) und den Vision AI-Dienst von Oracle. Es dürfte keine allzu große Vorstellungskraft sein, sich vorzustellen, dass Mitarbeiter im Gesundheitswesen XR-Geräte tragen, die ihnen zusätzliche Funktionen und Informationen bieten (und tatsächlich sind das bei vielen bereits der Fall).
Heutzutage vergleichen Ärzte, Zahnärzte usw. ständig einen Computerbildschirm mit einem Patienten, um nach Informationen zu suchen und sich an dem zu orientieren, was er sieht (Röntgen, MRT usw.), und oft sind am Kopf angebrachte Lampen, monokulare Lupen usw. angebracht Die hier diskutierten XR-Lösungen sind lediglich Weiterentwicklungen davon. Weitere Details zu dieser Anwendung finden Sie im Forschungsblog , die grundlegenden Details ihrer Funktionsweise werden jedoch hier beschrieben.
Die auf der Hololens laufende Anwendung nimmt mit ihrer eingebauten Kamera in regelmäßigen Abständen Bilder auf, wobei sie das Sichtfeld des Trägers als Referenz nutzt. Dies ermöglicht ein zumindest komfortableres Freisprecherlebnis. Dennoch ist es in vielen Situationen, beispielsweise im Operationssaal, notwendig, dass die Hände des Benutzers mit der realen (oder XR-)Welt interagieren, was eine optimalere Lösung darstellt. Dies bedeutet auch, dass das System kontextbezogene Informationen erfassen kann, die dem Praktiker möglicherweise nicht bekannt sind oder auf die er keinen Zugriff hat, und diese Informationen schnell erfassen und verarbeiten kann, ohne dass der Praktiker dies explizit anweisen muss, was ebenfalls Zeit spart. Dies führt zu der Optimierung, die Mixed Reality bietet, ein spannendes Nebenprodukt der Immersion.
Die Hololens sendet diese Bilder dann über sichere REST-Aufrufe , wo sie bequem direkt vom abgerufen und auch in der Datenbank gespeichert und/oder abgerufen werden können.
Von diesem Punkt an können verschiedene Ansätze und Architekturen verwendet werden, um die Logik und Aufrufe an die Oracle Vision AI-APIs zur Verarbeitung der vom XR-Gerät gesendeten Bilder durchzuführen. Was beispielsweise die verwendete Sprache betrifft, wurden die ersten Versionen mit der OCI-CLI, Java und Python geschrieben, wobei eine endgültige Java GraalVM-native Image-Version verwendet wurde.
Da das native Java GraalM-Image fast sofort startet, wenn der Dienst eine bestimmte kurzlebige Routine ausführt, ist es außerdem ein guter Kandidat für eine serverlose Funktion. Optional kann der OCI-Benachrichtigungsdienst Objektspeicheränderungen abhören und auch serverlose Funktionen aufrufen.
Der Java-Dienst erhält eine Benachrichtigung über das Hochladen von Bildern in den Objektspeicher und führt eine Reihe von Aktionen wie folgt aus:
Führt einen OCI Vision AI-Dienst-API-Aufruf durch, der durch ein Röntgenobjekterkennungsmodell unterstützt wird, und stellt den Standort des von der Hololens gesendeten Bildes bereit.
Empfängt eine Antwort vom Objekterkennungsmodell mit der prozentualen Wahrscheinlichkeit, dass das Röntgenbild im Bild vorhanden ist, und den Begrenzungskoordinaten davon.
Beschneidet das Originalbild anhand der Begrenzungskoordinaten.
Führt einen weiteren OCI Vision AI-Dienst-API-Aufruf durch, der durch ein Röntgenklassifizierungsmodell unterstützt wird, und stellt ihm das zugeschnittene Bild der Röntgenaufnahme bereit.
Erhält eine Antwort vom Bildklassifizierungsmodell mit der prozentualen Änderung der Röntgenaufnahme, die Anzeichen von Anomalien/Pneumonie enthält.
Die Hololens-Anwendung empfängt diese Antwort und benachrichtigt den Träger mit einer akustischen Benachrichtigung – diese ist konfigurierbar und kann auch visuell sein. Im Fall dieser Anwendung umfassen die Informationen das Bild der zugeschnittenen Röntgenaufnahme mit den entdeckten Details, die in einem virtuellen Menü aufgelistet und gespeichert werden, das sich am Handgelenk befindet und nur für den Träger sichtbar ist. Dieser Ansatz vermeidet Unterbrechungen für den Träger, es ist jedoch auch möglich, die Ergebnisse mit der realen Röntgenaufnahme zu überlagern, aus der sie abgeleitet wurden.
Vision AI und XR passen auf natürliche Weise zu Lösungen in einer Reihe von Bereichen, darunter sowohl für Mitarbeiter im Gesundheitswesen, wie hier gezeigt, als auch für Menschen mit Erkrankungen wie Parkinson, Autismus, Alzheimer, Seh- und Hörbehinderungen usw. (z. B. Anwendungen/ Lösungen, die in diesem Bereich verwendet werden können, werden in beschrieben.
Bewegungs- und Stimmungsstudie: Gesichts- und Körper-Tracking-Analyse in Echtzeit
Heutzutage bieten 95 % der Gesundheitseinrichtungen Fernbehandlung und Rehabilitation an. Mithilfe von XR-Technologien können Patienten ihre Erkrankungen und Behandlungsmöglichkeiten besser verstehen. Dies kann dazu beitragen, dass sich Patienten bei ihren Gesundheitsentscheidungen besser informiert und gestärkt fühlen.
Das nächste Beispiel wurde mit dem iPhone und Swift unter Verwendung von Apples zur Körperverfolgung von Bewegungen implementiert. Die Gelenkkoordinaten einer Modellbewegung werden aufgezeichnet und über Rest-Aufrufe an ORDS an die Oracle-Datenbank gesendet. Eine Person (sei es ein Patient, ein Sportler usw.), die die Anwendung verwendet, versucht, die gleiche Bewegung auszuführen, und ihre Gelenkkoordinaten werden mit denen der in der Datenbank gespeicherten Modellbewegung verglichen. Bei Überschreitung der zulässigen Abweichung/Delta der Bewegungen werden die entsprechenden Gelenke und Knochen rot statt grün dargestellt.
Dieses Feedback wird in Echtzeit gegeben, um den Fortschritt zu messen (z. B. nach einer Rotatorenmanschette oder einer anderen Operation) und/oder um dem Benutzer zu ermöglichen, seine Bewegung an das Kontrollmodell anzupassen sowie an Gleichgewicht und Koordination zu arbeiten. Diese Bewegungen können wiederum analysiert (mehr zu XR und Oracle Analytics in einem kommenden Blog), wiedergegeben, manipuliert werden, um Simulationen durchzuführen usw. Diese Anwendungsfälle erstrecken sich natürlich auch auf die Bereiche Sport, Unterhaltung usw Also.
Digitale Zwillinge + Doppel und Multiplayer-/Teilnehmer-Messaging: Training und Zusammenarbeit
Eine kürzlich von Unity veröffentlichte Studie zeigt, dass etwa 94 % der Unternehmen, die Echtzeit-3D-Technologie einsetzen, diese für die Schulung ihrer Mitarbeiter als wertvoll erachten und sie zur Erstellung interaktiver geführter Lernerlebnisse nutzen. Dies gilt für alle Branchen, darunter Fertigung, Transport, Gesundheitswesen, Einzelhandel und viele mehr, und einige Trends in diesem Bereich (von denen viele mit den Darstellungen in diesem Blog übereinstimmen) werden diskutiert.
Mithilfe von XR-Technologien können realistische Simulationen medizinischer Szenarien erstellt werden, sodass medizinisches Fachpersonal Verfahren und Techniken in einer sicheren und kontrollierten Umgebung üben kann. Beispielsweise können Medizinstudenten und Chirurgen XR-Simulationen verwenden, um Operationen mit taktilen Empfindungen zu üben, die das Feedback einer echten Operation vermitteln, und Krankenschwestern können AR-Simulationen verwenden, um die Verabreichung von Medikamenten zu üben. Dadurch können medizinische Fachkräfte wertvolle Erfahrungen sammeln, ohne die Patientensicherheit zu gefährden.
Zusätzlich zum Unterricht bietet XR eine einzigartige Möglichkeit zur Zusammenarbeit zwischen Personen an verschiedenen Standorten und Fachgebieten und schafft so einen gemeinsamen virtuellen Raum, in dem mehrere Benutzer miteinander und mit virtuellen Objekten interagieren können. Für die Erstellung von XR-Multiplayer-/Teilnehmerschulungen und -Zusammenarbeit stehen verschiedene Techniken und Softwareoptionen zur Verfügung, darunter XR-Konferenzsoftware und Metaverses, Photon und ähnliche, Rest, WebSockets und verschiedene Arten von Nachrichten.
XR-Konferenzsoftware und -plattformen wie Alakazam erfreuen sich immer größerer Beliebtheit und ermöglichen mehreren Benutzern die Teilnahme an virtuellen Meetings, Veranstaltungen, Schulungen usw.
Photon ist eine Plattform, die es Entwicklern ermöglicht, Multiplayer-Spiele und -Anwendungen mit Unity, Unreal Engine und anderen Game-Engines zu erstellen. Sie kann problemlos auf Oracle Cloud Compute (einschließlich ) installiert werden und die Vorteile davon nutzen. Es ist vielleicht die berühmteste dieser Plattformen, aber es gibt noch andere.
WebSockets sind ein Protokoll für die Echtzeitkommunikation zwischen Web-Clients und Servern und können für solche Anwendungsfälle eine schnellere und effizientere Methode als Rest sein, obwohl Rest-Aufrufe in vielen Fällen auch eine einfache, praktikable Option sind und über mehr APIs verfügbar sind Ruhe im Allgemeinen als alle anderen Methoden.
Messaging ist eine weitere Technik, mit der XR-Trainings- und Kollaborationserfahrungen erstellt werden können. Systeme wie Kafka und JMS verfügen sowohl über Pub/Sub (Multi-Consumer-Themen) als auch über Producer/Consumer (Single-Consumer-Themen) und sind sehr flexibel für unterschiedliche Schulungs- und Zusammenarbeitsanforderungen.
In der im Video gezeigten Trainingsanwendung habe ich eine Reihe der oben genannten Techniken verwendet, mich jedoch auf die Verwendung der TxEventQ-Messaging-Engine von Oracle (früher bekannt als AQ) konzentriert. Dies ist aus mehreren Gründen ein sehr leistungsstarkes und einzigartiges Angebot. Einer der wichtigsten Gründe ist die Fähigkeit, Datenbankarbeiten und Messaging-Arbeiten in derselben lokalen Transaktion durchzuführen. Dies ist einzigartig und perfekt für Microservices geeignet, da es ein Transaktionsausgangsmuster und auch eine genau einmalige Nachrichtenzustellung bietet, sodass es zu keinem Nachrichtenverlust kommt und der Entwickler keine Deduplizierungslogik schreiben muss.
Dies ist möglicherweise für herkömmliche Spiele oder Film-Streaming nicht erforderlich, ist jedoch für geschäftskritische Systeme ein Muss und bietet einige äußerst interessante und einzigartige Aspekte für XR, beispielsweise die Möglichkeit, ein gemeinsam genutztes (3D-)Objekt (insbesondere dynamische oder erstellte) zuverlässig zu speichern B. über generative KI) und die darauf von verschiedenen Teilnehmern getätigten Interaktionen/Nachrichten sind ein sehr mächtiges Werkzeug.
Genau das geschieht in der im Video gezeigten App. Die gemeinsame Sitzung wird nicht nur in 3D aufgezeichnet, um sie als Video anzusehen, sondern die tatsächlichen Objekte und ihre Interaktionen durch die Teilnehmer werden in der Datenbank aufgezeichnet und stehen für die Wiedergabe zur Verfügung, sodass sie später abgefangen und manipuliert werden können. Dies ermöglicht die Möglichkeit, tieferes Lernen durchzuführen und weitere Modelle (KI oder auf andere Weise), Simulationen, Szenarien usw. auszuführen, indem die Objekte und Interaktionen wie/mit Playbooks optimiert werden.
Mit der Entwicklung fortschrittlicherer Technologie und leistungsstärkerer Geräte wird das XR-Training in naher Zukunft an Bedeutung gewinnen und das Trainingserlebnis immersiver und interaktiver machen.
Eine weitere kleine Anmerkung ist, dass die App im Video Mitarbeiter des Gesundheitswesens in vollständigen volumetrischen 3D-Videoaufnahmen zeigt, die professionell in einem Studio erstellt wurden, aber auch in einem einfachen 2D-Video, bei dem der Greenscreen-Alphakanal über einen Unity-Shader entfernt wurde und ein ähnliches Hologramm liefert Effekt mit minimalem Aufwand (die Qualität könnte mit mehr Aufwand bei der Beleuchtung usw. besser sein). Zu diesem Zweck könnte ein virtueller Zoom-Greenscreen sowie kostenlose Assets mit in Blender erstellten Animationen verwendet werden. Unity, Zoom und Blender sind alle kostenlos und nutzen die stets kostenlose autonome Datenbank von Oracle, was die Erstellung der Lösung hinsichtlich Software- und Cloud-Kosten sehr einfach macht.
Daten-Ökosystem: Telegesundheit und virtuelle Gesundheitszentren
Ein virtuelles Gesundheitszentrum oder Krankenhaus ist eine Gesundheitseinrichtung, die medizinische Dienstleistungen über digitale Kanäle wie Videokonferenzen, Online-Chat, Fernüberwachung und zunehmend auch XR-Technologien bereitstellt. Mit diesen digitalen Tools können Patienten bequem von zu Hause oder von entfernten Standorten aus auf Gesundheitsdienste zugreifen, ohne dass sie ein Krankenhaus oder eine Klinik aufsuchen müssen.
Das Konzept eines virtuellen Gesundheitszentrums erfreut sich aufgrund der wachsenden Nachfrage nach telemedizinischen Dienstleistungen, insbesondere im Zuge der COVID-19-Pandemie, immer größerer Beliebtheit. Ein virtuelles Gesundheitszentrum kann eine breite Palette medizinischer Dienstleistungen wie Grundversorgung, Fachberatung, diagnostische Tests und Nachfüllen von Rezepten anbieten und bietet Patienten Komfort und Flexibilität, die von überall und jederzeit auf medizinische Dienstleistungen zugreifen können.
Dies kann besonders für Patienten mit Mobilitätsproblemen, Menschen, die in ländlichen Gebieten leben, oder Patienten, die einen Spezialisten konsultieren müssen, der in ihrer Nähe nicht verfügbar ist, von Vorteil sein. Es kann auch die Gesundheitskosten sowohl für Patienten als auch für Gesundheitsdienstleister senken. Durch den Einsatz von Fernkonsultationen und -überwachung können Gesundheitsdienstleister den Bedarf an teuren persönlichen Konsultationen und Krankenhausaufenthalten reduzieren. Patienten können außerdem Geld bei den Transportkosten und der Abwesenheit von der Arbeit sparen.
Ein virtuelles Gesundheitszentrum kann die Qualität der Patientenversorgung verbessern. Mit der Fernüberwachung können Patienten eine personalisierte und kontinuierliche Betreuung erhalten, wobei Gesundheitsdienstleister ihren Gesundheitszustand in Echtzeit überwachen und bei Bedarf schnell eingreifen können. Dies kann zu besseren Gesundheitsergebnissen und weniger Krankenhauswiedereinweisungen führen.
Allerdings gibt es auch einige Herausforderungen bei der Implementierung virtueller Gesundheitszentren. Dazu gehören Fragen des Datenschutzes und der Datensicherheit sowie die Notwendigkeit eines angemessenen Internetzugangs und der digitalen Kompetenz der Patienten. Darüber hinaus bevorzugen einige Patienten möglicherweise immer noch die traditionelle persönliche Betreuung, und obwohl die Zahl abnimmt, gibt es Einschränkungen bei den medizinischen Dienstleistungen, die aus der Ferne erbracht werden können. Das Konzept eines virtuellen Gesundheitszentrums hat das Potenzial, die Art und Weise der Gesundheitsversorgung zu revolutionieren, mit Vorteilen sowohl für Patienten als auch für Gesundheitsdienstleister. Allerdings sind sorgfältige Überlegungen und Planungen erforderlich, um sicherzustellen, dass die Implementierung virtueller Gesundheitszentren sicher, effektiv und für alle Patienten gleichberechtigt ist.
Oracle ist mit der Übernahme von Cerner und der verstärkten Fokussierung auf die Zukunft des Gesundheitswesens in einer einzigartigen Position, solche XR-Lösungen durch seine Fähigkeit zu ermöglichen, „bessere Gesundheitseinblicke und menschenzentrierte Erfahrungen für Patienten und Anbieter bereitzustellen.“ , Kostenträger und die Öffentlichkeit. Oracle Health bietet die sichersten und zuverlässigsten Gesundheitslösungen, die klinische, betriebliche und finanzielle Daten verbinden, um die Pflege zu verbessern und die Entscheidungsfindung in Bezug auf Gesundheit und Wohlbefinden voranzutreiben.“ ( ). Larry Ellison machte dies bei seiner Oracle OpenWorld-Präsentation deutlich, bei der das Gesundheitswesen die Priorität für die Zukunft von Oracle war, und Anfang des Jahres er: „Gemeinsam verfügen Cerner und Oracle über die gesamte erforderliche Technologie, um ein revolutionäres neues Gesundheitsmanagement-Informationssystem aufzubauen.“ die Wolke."
Psychische Gesundheit
Über 20 % der amerikanischen Erwachsenen leiden an einer psychischen Erkrankung, während über 2,5 Millionen Jugendliche mit schweren Depressionen zu kämpfen haben und jedes Jahr weltweit 800.000 Menschen aufgrund einer psychischen Erkrankung Selbstmord begehen. Gleichzeitig besteht ein wachsender Mangel an Fachkräften für psychische Gesundheit, was ein landesweites Problem darstellt, für Minderjährige und Jugendliche jedoch besonders gravierend ist. Nach Angaben des US-Gesundheitsministeriums wird das Land bis 2025 voraussichtlich einen Mangel an 10.000 Fachkräften im Bereich der psychischen Gesundheit haben.
Die psychische Gesundheit ist einer der Bereiche, in denen XR am umfassendsten erforscht wurde und sich als äußerst wirksam bei der Bereitstellung von Therapien und Behandlungen für psychische Erkrankungen wie Angstzustände, Depressionen und PTBS erwiesen hat. Beispielsweise kann die VR-Expositionstherapie eingesetzt werden, um Patienten dabei zu helfen, sich ihren Ängsten zu stellen und sie zu überwinden, indem sie ihnen in einer kontrollierten und sicheren Umgebung Simulationen der Dinge, vor denen sie Angst haben, aussetzen.
Mit der kognitiven Verhaltenstherapie (CBT) XR können immersive, meditative Erlebnisse geschaffen werden, die Achtsamkeit, Entspannung und Stressreduzierung fördern. VR-Umgebungen können beispielsweise friedliche und beruhigende natürliche Umgebungen wie Strände, Wälder, Berge oder den Weltraum simulieren. Kinder, ältere Menschen und andere, die möglicherweise längere Zeit in Krankenhäusern usw. verbringen, nutzen XR, um die Welt zu erkunden und Kontakte zu knüpfen.
Mithilfe von XR und Teletherapie können Therapeuten virtuelle Umgebungen erstellen, die persönliche Therapiesitzungen simulieren können, was ein immersiveres und personalisierteres Erlebnis bietet und gleichzeitig die Hemmungen des Patienten verringert und sogar die Verwendung von AR-Linsen und Avataren für die Privatsphäre ermöglicht.
NLP-Stimmungsanalysen (Natural Language Processing), wie sie beispielsweise vom entsprechenden Oracle AI-Dienst bereitgestellt werden, können Emotionen und Absichten aus der verbalen Kommunikation interpretieren, und mit Fortschritten in der Gesichtserkennung und Gesichtsstimmungsanalyse ist es nun möglich, diese mit großer Genauigkeit zu erkennen Emotionen, die eine Person fühlt und/oder nonverbal ausdrückt (dasselbe gilt für die Körper-/Gestenverfolgung). Neurotechnologie und neuronale Schnittstellen in Abstimmung mit XR können jetzt menschliche Absichten interpretieren und Einblicke in diese geben sowie Emotionen messen und so einen noch besseren Einblick in Absichten und Emotionen ermöglichen.
Und natürlich ist die Welt mit der besseren und einfacheren Zugänglichkeit von KI-Schnittstellen wie ChatGPT usw. bestens vertraut, um dies zu ermöglichen. Wie beim zuvor gegebenen Röntgenbeispiel können diese in manchen Situationen eine höhere und gleichmäßigere Genauigkeit und Geschwindigkeit bieten als ein Mensch, können aber auch als unterstützende Technologien für medizinisches Personal dienen. Weitere Beispiele hierfür finden Sie in den kommenden Blogs.
Zusätzliche Gedanken
Ich habe einige Ideen und Beispiele gegeben, wie Gesundheitswesen und XR gemeinsam genutzt und durch Oracle erleichtert werden können. Ich freue mich darauf, bald weitere Blogs zu diesem Thema und anderen Bereichen von XR mit Oracle Cloud und Database zu veröffentlichen.
Weitere Informationen zu XR und Oracle Cloud und Datenbank sowie zu verschiedenen Themen rund um Microservices, Observability, Transaktionsverarbeitung usw. finden Sie in meinen anderen Veröffentlichungen sowie in diesem . Bei Fragen oder Anregungen für neue Blogs und Videos können Sie sich auch gerne an mich wenden, da ich für Vorschläge sehr offen bin. Danke fürs Lesen und Zuschauen.
