Die digitale Zwillingstechnologie verändert das medizinische Paradigma. Heutzutage können Ärzte bereits dreidimensionale Bilder rekonstruieren, die die verschiedenen Organe vom Herzen bis zum Gehirn des Patienten zeigen. In absehbarer Zukunft wird es auch möglich sein, den virtuellen Zwilling des gesamten menschlichen Körpers zu erstellen, um Operationen und Behandlungen präziser und vorhersehbarer zu machen.
Mit der Entwicklung der Technologie großer KI-Modelle wird eine stärkere Rechenleistung die Konstruktion von 3D-Modellen in Zukunft schneller und bequemer machen. Nach der Integration von KI-Bildinformationen können Ärzte auch eine umfassendere Bewertung der Gesundheit der Patienten vornehmen.
Vom virtuellen Herzen zum virtuellen Gehirn
Vor 6 Monaten unterzog sich der Softwareingenieur Steven Levine einer 12-stündigen Operation zur Entfernung eines Hirntumors. Nachdem bei ihm ein gutartiger Tumor von der Größe eines Golfballs im Gehirn diagnostiziert worden war, modellierten die Ärzte sein Gehirn, um die genaue Stelle des Tumors zu finden, und führten dann eine interventionelle Operation unter der Anleitung von 3D-Bildern durch. Sechs Wochen später hatte sich Levine vollständig von der Operation erholt.
“Der Tumor war zwar nicht sofort lebensbedrohlich, aber er hatte einen Teil meines Schädels und meiner Nebenhöhlen zerfressen und den Sehnerv zusammengedrückt.” Levin sagte dem CBN-Reporter: “Der Tumor beeinträchtigte auch die Funktion der Hypophyse und schüttete überschüssiges Wachstumshormon aus, wodurch sich meine Füße und Hände langsam vergrößerten.” ”
Neurochirurg Thomas Beaumont von der University of California, San Diego, hat Levens Gehirn mit digitaler Zwillingstechnologie rekonstruiert, einschließlich des Tumors. Während der Operation führte Beaumont eine Kamera in Levens eine Nasenöffnung ein und führte chirurgische Instrumente in die andere Nasenöffnung ein, um den Tumor stückweise zu entfernen und das geschädigte Gewebe zu reparieren, wodurch der Eingriff auf minimal-invasive Weise durchgeführt wurde.
Da die Knochenstruktur jedes Patienten unterschiedlich ist, variiert auch die Art und Weise, wie sich die Halsschlagader krümmt. All dies muss in 3D visualisiert werden, um den Erfolg der Operation zu gewährleisten. Durch die 3D-Bilder muss der Arzt nicht mehr die Anatomie des Gehirns des Patienten in Gedanken rekonstruieren, sondern kann sie direkt sehen. Dies ermöglicht es dem Arzt, während der Operation in einem sichereren Zustand zu sein und die Operation präziser durchzuführen.
Die Operation von Lavin verlief sehr erfolgreich. Ein halbes Jahr später arbeitete er bereits wieder wie gewohnt. Tatsächlich wurde die Digital Twin-Technologie, die Dr. Beaumont verwendete, von Lavin persönlich entwickelt, und er wurde zum Nutznießer seiner eigenen Entwicklung. Seine Erfahrungen haben ihn noch mehr überzeugt, dass diese Technologie in Zukunft vielen Patienten helfen und die Belastung der Ärzte verringern kann.
Derzeit treibt Leven die Überführung der digitalen Zwillings-Technologie vom Labor in die klinische Praxis voran. Diese digitalen Zwillinge umfassen verschiedene menschliche Organe wie das Herz, das Gehirn, die Leber usw. Leven hat sich seit über zehn Jahren intensiv dafür eingesetzt.
Im Jahr 2014 startete Leven in seinem Unternehmen Dassault Systèmes das Living Heart-Projekt, das das erste digitalisierte Modell des menschlichen Herzens in den USA war, das von der FDA zugelassen wurde. Es kann interventionellen Kardiologen helfen, die Struktur des Herzens von Patienten vor oder während der Operation besser zu verstehen, um den besten Operationsplan zu finden.
Lavin told the First Financial Journalist that the inspiration for his virtual heart project came from his daughter Jesse. Jesse was born with a rare and severe heart defect. Doctors implanted a pacemaker in her heart. Jesse is now 35 years old and has already had 5 pacemakers replaced in her heart.
Bei der Behandlung von Jessies Herzkrankheit stehen die Ärzte vor einer großen Unsicherheit. Sie verlassen sich größtenteils auf Erfahrung und Vermutungen, was bei Leven einen tiefen Eindruck hinterlässt. Seitdem hofft Leven, ein digitales System zu entwickeln, das Ärzten helfen kann, die Entwicklung von Herzkrankheiten bei Kindern mit angeborenen Herzfehlern wie Jessie besser zu erforschen.
„So wie heute niemand mehr ein echtes Flugzeug oder Auto herstellen und damit eine Probefahrt machen würde“, sagte Leven gegenüber einem Journalisten von Erstem Wirtschaftsblatt. „Bevor diese Produkte tatsächlich zusammengebaut werden, ermöglichen Softwareprogramme und Computersysteme den Designern, diese Teile zunächst in einer virtuellen Umgebung herzustellen und zu testen. Warum also können Herzoperationen und Koronarinterventionsgeräte nicht im Voraus geplant und getestet werden?“
Der Ingenieur Laiwen hat immer mit physikalischem Denken über dieses Problem nachgedacht. Er glaubt, dass das Herz als ‘Pumpe’ den Gesetzen der Physik unterliegen sollte. Diese Idee führte zur Entstehung seines Projekts des virtuellen Herzens.
“Wenn das erstellte Modell korrekt ist, ist das Endprodukt korrekt”, sagte er. Dieser Erfolg beruht auf der Open-Source-Natur des Systems. Levine sagte, dass die Open-Source-Zusammenarbeit des Projekts bereits seit zehn Jahren besteht. Hunderte von Ärzten, Ingenieuren, Branchenexperten, Regierungsbeamten aus der ganzen Welt beteiligen sich an dem Projekt und steuern ihre jeweiligen Fachkenntnisse bei, um das erste voll funktionsfähige dreidimensionale Herz in einer virtuellen Umgebung zu erstellen.
Laiwen sagte gegenüber dem First Financial Journalisten, dass anfangs viele Menschen das Projekt bezweifelten, schließlich hängt jede Herzoperation mit dem Leben zusammen, und derzeit hängt die Herzoperation immer noch von den Fähigkeiten und der Erfahrung des Arztes ab. Aber allmählich wurden 3D-Modelle aus üblichen CT-Scans und Magnetresonanztomographie (MRT)-Bildern erstellt, die Software wurde schrittweise verbessert, und das Projekt wurde schrittweise validiert, was sich sowohl in Tier- als auch in Endtests am Menschen als hervorragend erwiesen hat.
Das Projekt zur Entwicklung eines virtuellen Herzens wird von einem stetig wachsenden Ökosystem angetrieben. Wir arbeiten mit führenden Kardiologen, Medizinprodukteherstellern, Aufsichtsbehörden und Herzspezialisten zusammen, um klinisch validierte, hochpräzise, kommerziell nutzbare personalisierte digitale Herzmodelle und innovative digitale Therapien zu entwickeln, so Leven.
Kinder mit angeborenem Herzfehler könnten als Erste profitieren
Nach mehreren Jahren harter Arbeit hat das Team von Laiwen erfolgreich ein voll funktionsfähiges virtuelles Herz entwickelt und es den Chirurgen des Boston Children’s Hospital zur Verfügung gestellt. Laiwen glaubt, dass die Kinderkardiologie aufgrund des Mangels an Vorhersagemethoden für angeborene Herzkrankheiten bei Kindern das erste Fachgebiet sein könnte, das die digitale Zwillings-Technologie klinisch kommerzialisiert.
Zurzeit versammeln sich jede Woche Dutzende von Experten im Herzzentrum des Kinderkrankenhauses Boston, um die kompliziertesten Herzoperationen zu planen. Sie analysieren die dreidimensionalen Herzbilder, die auf dem Bildschirm projiziert werden, und jede beschädigte Arterie oder fehlerhafte Herzkammer könnte eine potenzielle Bedrohung für das Leben und die Gesundheit der Kinder darstellen.
Diese 3D-Bilddaten können auf dem Computerbildschirm gedreht oder schrittweise zerlegt werden, damit Chirurgen die bevorstehende Operation präzise planen können. Mit Hilfe von Biomedical Engineers können Ärzte sehen, wie Blut und Sauerstoff fließen, wie die elektrischen Signale des Herzens sind und wie der Druck der Klappen die Herzfunktion beeinflusst. Ärzte können sogar mit digitalen Bildern vorhersagen, wie sich die von ihnen geplanten Klappen auf die Reparatur des Herzens auswirken werden.
Lavinia sagte, dass eines Tages Sensoren oder tragbare Geräte in diese digitalen Technologien integriert werden könnten, um einen Weg für die Datenübertragung zum virtuellen Herzen des Patienten zu schaffen. Dieser Rückkopplungskreislauf wird ein „digitales Zwillingsherz“ des menschlichen Herzens schaffen und den Ärzten neue Möglichkeiten bieten, um sicherzustellen, dass ihre Operationspläne optimal sind.
Dr. David Hoganson, Pediatric Cardiac Surgeon at Boston Children’s Hospital and Director of the 3D Visualization Project, is leading the project. His team has used digital heart models to complete around 2,000 surgeries so far.
Im Kinderherzzentrum des Xinhua-Krankenhauses, das an der Shanghai Jiaotong Universität angeschlossen ist, behandelt der Leiter der Kardiologie, Chen Sun, täglich eine große Anzahl von komplexen angeborenen Herzkrankheiten bei Kindern. Diese Kinder müssen manchmal wegen einer unzureichenden Entwicklung des Herzens direkt nach der Geburt behandelt werden, andere erkranken im Alter von 2 oder 3 Jahren an Kawasaki-Krankheit oder an Kardiomyopathie, und viele Mechanismen dieser Krankheiten sind immer noch unklar.
Chen Sun told the First Financial Journalist that his team is also conducting research cooperation between universities and enterprises in the field of digital twins, developing relevant algorithms based on the fusion of multimodal images of echocardiography and enhanced CT of the heart and large blood vessels, constructing 3D and 4D models of pediatric congenital heart disease to better understand the development of pediatric congenital heart disease.
Chen Sun frankly stated that the main reason why foreign digital technology is ahead in clinical applications is based on two advantages: first, they have a mature payment system, which allows products to be commercialized more quickly; second, the foreign ecosystem is relatively developed, forming a system of cross-disciplinary research in basic medicine, engineering, and clinical fields.
Dr. Peng Yongxuan, the chief physician of the Pediatric Heart Center at Xinhua Hospital, told First Financial Journalist, “Virtual heart has become a research hotspot in the domestic cardiovascular field. Digital twin technology is an inevitable trend to further develop the medical level and will bring revolutionary changes to the medical field.”
Er sagte, dass die virtuelle Herztechnologie im Bereich der kindlichen Herzkrankheiten in China noch in der frühen Phase der Optimierung durch AI-Algorithmen, der Fusion multi-modaler Bilder usw. steckt, um die Genauigkeit des digitalen Zwillingsmodells kontinuierlich zu verbessern. In Zukunft wird weiterhin die Anwendung in der klinischen Praxis erforscht werden.
“Als neue Technologie und Hilfsmittel erfordert das leistungsstarke digitale Zwillingsherz eine systematische Anwendungsmethode, um sein volles Potenzial zu entfalten. Beispielsweise werden einige langjährig verwendete zweidimensionale Parameter (Durchmesser, Fläche) durch dreidimensionale Parameter (Fläche, Volumen) ersetzt. Die präoperative Planung, die chirurgische Simulation und die Prognose des Krankheitsverlaufs erfordern jeweils entsprechende Methoden, die je nach Krankheitsart festgelegt werden müssen”, behauptete Peng Yong.
In den letzten Jahren hat sich das Konzept des ‘digitalen Zwillings’ im medizinischen Bereich zunehmend bewährt und sich zu Modellen für Lunge, Leber, Gehirn, Gelenke, Augen, Blutgefäße und andere Körperteile entwickelt. Es besteht die Aussicht darauf, in naher Zukunft einen digitalen Zwilling des gesamten menschlichen Körpers zu erstellen. Diese neue Technologie wird bereits für die Prüfung neuer medizinischer Geräte und die Vorhersage der Auswirkungen neuer Arzneimoleküle auf Organe und Zellen eingesetzt. In Zukunft könnte sie Tierversuche reduzieren oder sogar ersetzen.
Diese Modelle werden eine einheitliche Grundlage für die kardiovaskuläre computergestützte Medizin schaffen, die die Entwicklung von Bildung, Schulung, medizinischer Geräteentwicklung, klinischer Studien und klinischer Diagnostik vorantreiben und einen effektiveren Weg für die innovative Transformation von Spitzenmedizingeräten bieten wird. Derzeit hat die US-amerikanische FDA die Zusammenarbeit mit dem Dassault Systèmes Virtual Heart Research Agreement um 10 Jahre verlängert, um die Implantation, Platzierung und Leistung kardiovaskulärer Geräte, einschließlich Herzschrittmacher, zu bewerten.
Mit der Entwicklung von generativer KI führt Dassault das Virtual Heart-Projekt ein, das große Sprachmodelle integriert. Laven, gegenüber einem Journalisten von First Finance, sagte, dass sein Team derzeit die nächste Generation von Virtual-Heart-Modellen testet, die auf individuelle Patienten oder Patientengruppen zugeschnitten werden können, wobei die durch KI gesteuerte Anpassungs- und Automatisierungsfähigkeiten zur Vereinfachung und Beschleunigung der Entwicklung medizinischer Geräte beitragen werden.
Eine der Vorteile des KI-Modells ist, dass wir in Zukunft möglicherweise nicht mehr eine große Menge an Patientendaten benötigen werden, sondern nur eine kleine Menge, um das Modell kontinuierlich lernen zu lassen und eine große Menge an Daten zu generieren. Dies hat einen wichtigen Einfluss auf die Entwicklung der KI auf die digitale Zwillingstechnologie." sagte Laiwen.
Darüber hinaus wird sich die Art und Weise, wie in der Vergangenheit für jedes individuelle Herz manuell modelliert wurde, mit Hilfe der KI-Fähigkeiten ebenfalls ändern. ‘Manuelles Modellieren erfordert oft viel Zeit, jetzt kann man durch automatisiertes Modellieren mit einem Klick den Zeitraum von mehreren Tagen auf einige Minuten verkürzen, was für den gesamten Prozess revolutionär sein wird’, sagte er.
Das Zeitalter der KI-Medizin steht kurz bevor
In China, clinical doctors are also exploring the application prospects of virtual twinning technology. Recently, in the operating room of Renji Hospital, affiliated to the School of Medicine, Shanghai Jiaotong University, a human-machine collaborative “precision battle” was launched. The team of functional neurosurgery at Renji Hospital, led by Zhou Hongyu, imported patient’s CT and MRI image data into a surgical robot system called Sino. The AI algorithm system can automatically reconstruct the three-dimensional model of the intracranial and accurately delineate the three-dimensional contour of the abscess.
Mit Hilfe von 3D-Datenbildern steuert der stellvertretende Leiter der Neurochirurgie des Renji-Krankenhauses, Dr. Guo Liemei, reibungslos den Roboterarm und führt unter dem Schattenlicht das Drainagerohr mit einer Wiederholgenauigkeit von 0,1 mm entlang der geplanten Operationsroute in das Zentrum der Abszesshöhle ein.
Zhou Hongyu erklärte dem ersten Finanzreporter, dass diese Art von Operation in der Vergangenheit auf dem “Gefühl” und der Erfahrung des Arztes beruhte, aber jetzt mit der Entwicklung der Neuroimaging-Technologie ist es möglich, Bilddaten für CT und Magnetresonanz nachzubearbeiten, eine tiefe Gehirnstruktur aufzubauen, die in der Vergangenheit durch Kraniotomie beobachtet werden muss, und den chirurgischen Verlauf auf der Grundlage eines dreidimensionalen Systems zu planen, Blutgefäße und wichtige Funktionsbereiche zu vermeiden und eine präzise Positionierung und chirurgische Navigation durch Roboter zu erreichen, die die physiologischen Grenzen des menschlichen Auges und der menschlichen Hand durchbrechen können.
“Das System zeigt die Einstichtiefe und den Winkelversatz in Echtzeit an und kann auch Blutgefäße und Funktionsbereiche geschickt umgehen – eine Perspektive, die mit einer herkömmlichen Operation nicht erreicht werden kann.” Er sagte.
Professor Feng Junfeng, Direktor der Abteilung für Neurochirurgie am Renji-Krankenhaus, sagte dem CBN-Reporter: “Die Neurochirurgie ist in die ‘Millimeter-Ära’ eingetreten. Maschinelles Lernen sammelt weiterhin chirurgische Daten und könnte in Zukunft in der Lage sein, den Punktionspfad autonom zu optimieren und zu einem ‘KI-Berater’ für Ärzte zu werden.” ”
Similar scenes are also expected to be staged in the cardiac catheterization room of the hospital in the future. Academician Ge Junbo, director of the Cardiology Department of Zhongshan Hospital affiliated to Fudan University, described to the First Financial Reporter a ‘metaverse catheterization room’ scenario: The catheterization room is composed of an artificial intelligence-assisted decision-making system, a voice-assisted control system, a robot-assisted and tactile feedback system, a mixed reality holographic digital system, and a high-speed internet.
“In diesem Katheterlabor wurden alle Informationen des Patienten vor der chirurgischen Behandlung in ein Softwaresystem des Arztes gespiegelt, und der Arzt kann die Operation und die Anatomie simulieren, nachdem er ein hybrides virtuelles Gerät wie Vision Pro getragen hat, und der chirurgische Prozess wurde im Voraus geprobt.” sagte Ge Junbo dem ersten Finanzreporter.
Er glaubt, dass die Erscheinungsformen und Dimensionen des “Metaverse” auch auf die Diagnose und Behandlung von Herzerkrankungen anwendbar sind. Vom “Metaverse” bis zum “Universum des Geistes” können digitale Zwillinge in Zukunft KI-Technologie nutzen, um ein digitales Organ (Digital Human) genau zu bauen, zu skizzieren, was in realen Situationen passieren kann (virtuell), und es Ärzten und Patienten zu ermöglichen, die Folgen eines Krankheitsfaktors zu verstehen.
Dies wird dazu beitragen, die Verbindungen zwischen verschiedenen komplexen vaskulären Erkrankungen zu verstehen, wie zum Beispiel, wie die Arteriosklerose den gesamten vaskulären Netzwerk des Körpers beeinflusst. Dies ist von großer Bedeutung für die Diagnose und Behandlung von vaskulären Erkrankungen. Traditionelles Wissen kann die Folgen von Krankheiten nicht mehr vollständig vorhersagen. Die Integration von Informationen wie Patientenmerkmalen, klinischen Manifestationen, Biomarker-Gruppen und bildgebenden Gruppen wird in der Zukunft ein Trend sein.
Ge Junbo behauptet, dass die Überlagerung von digitaler Zwillingstechnologie und großen künstlichen Intelligenzmodellen in der Zukunft eine präzise Vorhersage von vaskulären Erkrankungen ermöglichen und eine größere Rolle bei Operationen wie der Klappenimplantation spielen kann, um Ärzten zu helfen, Zeitpunkt und Entscheidungen zur Intervention bei Krankheiten vorherzusagen.
Letzte Woche veröffentlichte die kardiologische Abteilung des Zhongshan-Krankenhauses das erste inländische große Herzmodell zur Betrachtung des Herzens (CardioMind). Das Modell integriert multimodale diagnostische Daten und die Erfahrung führender Ärzte, um eine vollständig automatisierte Unterstützung von der Anamneseerhebung bis zur Diagnose zu ermöglichen. Noch wichtiger ist, dass das System nicht nur die Analyse von Einzeldatensätzen durchbricht, sondern auch die Integration und Schlussfolgerung von multimodalen Daten wie EKG, Ultraschallbildern und Laboruntersuchungen ermöglicht.
Doch die Standardisierung dieser Daten bringt noch Herausforderungen mit sich. "Digitale Zwillinge beschreiben Organe anhand verschiedener medizinischer 3D-Bilder und physiologischer Signale. CT/MRT-3D-Bilder sind die Grundlage des digitalen Zwillings, und da die Organstruktur jedes Menschen unterschiedlich ist, können diese Echtzeitbilder verwendet werden, um das KI-Modell für personalisierte Anwendungen anzupassen. Ein Experte für medizinische Bildgebung sagte dem ersten Finanzreporter: “Derzeit gibt es keinen einheitlichen Standard für digitale Zwillinge von Organen, aber sie können je nach Bedarf vereinfacht werden, z. B. in Szenarien, die der chirurgischen Führung gewidmet sind.” ”
Einige Kliniker wiesen den ersten Finanzberichterstatter auch darauf hin, dass dies aufgrund der großen subjektiven Variabilität der physiologischen Daten des menschlichen Körpers die Schwierigkeit der Standardisierung erhöhen wird. “Die Daten des menschlichen Körpers sind extrem komplex, mit Hunderten von Millionen von Variablen, die miteinander interagieren, und es ist sehr schwierig, sie genau zu simulieren.” Professor Pan Wenzhi, Chefarzt der Abteilung für Kardiologie des Zhongshan-Krankenhauses, sagte dem ersten Finanzreporter: “Um zu beweisen, ob eine Therapie durchführbar ist, selbst wenn es sich um eine einfache Hypothese handelt, ist es in der Regel notwendig, Tausende von Patienten für mehrere Jahre klinischer Studien einzubeziehen, was Hunderte von Millionen Yuan kostet.” Denn der Patient kann nicht wiederholt werden. ”
Er betonte auch, dass die Anwendung von AI-Großmodellen bei objektiven Daten am vorteilhaftesten ist, wie z.B. Bildern, Pathologie- und Blutdaten. Durch den partiellen Zugang zu diesen Daten kann spezifische Unterstützungsfunktionen für Ärzte bereitgestellt werden.
Lewin gab gegenüber einem Journalisten von First Finance offen zu, dass das Virtual-Heart-Projekt derzeit auf die Bewertung durch die Aufsichtsbehörden wartet und es noch einige Zeit dauern wird, bis es in großem Maßstab in die klinische Praxis übergeht. In Bezug auf Herausforderungen sagte er: “Der Mangel an Standards ist die größte Herausforderung. Nicht nur jedes Unternehmen entwickelt sein eigenes Produkt, ohne einheitliche Standards, sondern auch die Standards in jedem Land sind unterschiedlich. Daher muss die Branche so schnell wie möglich Standards für die digitale Zwillingstechnologie festlegen, um Referenzpunkte für die behördliche Genehmigung bereitzustellen, damit diese Technologie schnell in die klinische Praxis umgesetzt werden kann.”
(Quelle: Yicai)
Quelle: East Money
Autor: Yicai
