Ziele und Relevanz

Das Hauptziel dieses Forschungsantrags ist es, Methoden des Hochleistungsrechnens (HPC) einzusetzen, um unser Verständnis des neuromuskularen Systems zu verbessern und damit einen signifikanten Beitrag zur übergeordneten Vision der Entwicklung eines physiologischen, digitalen Menschmodells zu leisten. Um das volle Potential von Berechnungsmodellen ausschöpfen zu können, müssen die Modellergebnisse mit experimentellen Daten in Verbindung gebracht werden. Im Fall des neuromuskularen Systems sind dies elektromyographische (EMG) Signale. EMG-Daten können klinisch einfach erhoben werden und erlauben einen Einblick in das Verhalten des zentralen Nervensystems aufgrund des direkten Zusammenhangs zwischen Entladungen von spinalen Motoneuronen und den resultierenden Aktionspotentialen der motorischen Einheiten, welche im EMG gemessen werden. Realistische in-silico Simulationen ermöglichen es Neurophysiologen, durch einen Vergleich zwischen den virtuellen und den experimentell gemessenen EMG-Signalen zum Beispiel neue Erkenntnisse zu gewinnen, und bieten eine Möglichkeit, ihre Dekodierungsalgorithmen, mit denen sie versuchen, Kontrollstrategien aus experimentell aufgenommenen EMG-Signalen zu bestimmen, zu verifizieren.

Übersicht

Ziele

Die beschränke Rechenkapazität limitiert die derzeit verwendeten biophysikalischen Modelle in ihrer Komplexität und die Anzahl an Muskelfasern, die im Gesamtmodell berücksichtigt werden können. Eine erhöhte Anzahl an Muskelfasern und komplexere Modelle der Komponenten versprechen biologisch realistischere Modellvorhersagen. Dies gilt insbesondere für die EMG-Signale. Daher bieten realistische EMG-Berechnungsmodelle einen signifikanten Beitrag zur Erweiterung unseres Verständnisses von gemessenen Signalen und bieten neue Möglichkeiten zur Interpretation von experimentell gemessenen EMG-Daten. Existierende dreidimensionale Modelle, die EMG-Signale basierend auf der Ausbreitung von Aktionspotentialen entlang der Muskelfasern in einem aktiv kontrahierenden biologischen Gewebe vorhersagen, sind aufgrund ihres großen Rechenaufwands derzeit auf ca 4'000 Muskelfasern limitiert, wohingegen realistische Muskeln aus bis zu 1'000'000 Muskelfasern bestehen. Um Skelettmuskelsimulationen mit einer realistischen Anzahl an Muskelfasern zu erreichen, ist der Einsatz von HPC unumgänglich. Dies wird durch die folgende Überschlagsrechnung demonstriert, bei der nur die Erregungs-Kontraktions-Kopplung in den Halbsarkomeren berücksichtigt wird.

Betrachtet wird eine einsekundige Kontraktion eines großen menschlichen Skelett-Muskels, der aus 1'000'000 Muskelfasern besteht, wovon jede mit ungefähr 300 linearen Lagrange Finiten Elementen (7,5 cm lange Muskelfasern) diskretisiert ist. An jedem Knoten des resultierenden Finite-Elemente-Gitters müssen 58 gekoppelte, steife, gewöhnliche Differentialgleichungen (das Modell der Erregungs-Kontraktions-Kopplung) berechnet werden. Bei Verwendung einer expliziten Methode, wie z. B. der expliziten Euler-Methode, wird ein Zeitschritt von 0,0001 ms benötigt, d. h. insgesamt sind 10'000'000 Evaluierungen der Differentialgleichungen vonnöten. Das bedeutet 1'000'000 * 300 * 58 * 10'000'000 = 1,74e17 Differentialgleichungsevaluierungen. Der Einfachheit halber wurde bei dieser Überschlagsrechnung die Diffusion des Aktionspotentials entlang der Muskelfasern, das kontinuumsmechanische Modell und das EMG-Modell nicht berücksichtigt. Es ist daher das Ziel dieses Forschungsvorhabens, das existierende MPI-basierte Simulationsprogramm OpenCMISS so zu erweitern, dass das Potential von Hochleistungsrechnern ausgeschöpft werden kann, um in-silico Vorhersagen von Kontraktion und von (intramuskularem und Oberflächen-) EMG-Signalen durch großskalige Simulationen auf HPC Clustern signifikant zu verbessern.

Um EMG-Signale realistisch vorhersagen zu können, müssen

  • mathematische Modelle (Modellkomponenten) des neuromuskulären Systems entwickelt/verbessert werden,
  • ein geometrisches Modell mit ungefahr 1'000'000 Muskelfasern konstruiert werden,
  • effizientere, stabile und robuste numerische Verfahren für die Zeitschrittweitensteuerung und die Löser entwickelt werden,
  • eine effiziente Parallelisierung der gekoppelten Simulationsumgebung auf hybriden Hochleistungsrechenarchitekturen entworfen werden,
  • in-situ Visualisierungstechniken entwickelt und eingesetzt werden, um Ergebnisse effektiv zu visualisieren, und
  • die resultierenden in-silico Hochleistungs-EMG-Daten und ihre Visualisierung von einem biomechanischen Standpunkt aus analysiert und interpretiert werden

Modellgetriebene Ziele

Um in-silico EMG-Signale zur Untersuchung der Validität von Dekodierungsalgorithmen (Algorithmen, die von Neurowissenschaftlern verwendet werden, um EMG-Signale in ihre Aktionspotentiale zu zerlegen) verwenden zu können, ist es unerlässlich, eine realistische Anzahl an Muskelfasern (100'000 bis 1'000'000) und eine realistische Anzahl an motorischen Einheiten (> 300) im Berechnungsmodell zu berücksichtigen. Die Muskelfasern jeder motorischen Einheit haben ihre eigene Menge an Parametern für die Erregungs-Kontraktions-Kopplung. Vor allem das biophysikalische Modell der Erregungs-Kontraktions-Kopplung, das derzeit durch seinen Rechenaufwand limitiert ist, muss überarbeitet und verbessert werden. Darüber hinaus muss das kontinuumsmechanische Modell umformuliert werden, da die derzeit verwendete Formulierung der Konstitutivgleichungen thermodynamisch nicht konsistent ist und zu Instabilitaten führen kann.

Um darüber hinaus Änderungen im EMG, die aus der Deformation des Muskels und den afferenten (mechanoelektrischen) Rückkopplungen resultieren, berücksichtigen zu können, ist es notwendig, dass zusätzlich ein kontinuumsmechanisches Modell gelöst wird und das bestehende Modell erweitert wird. Die Kombination von bioelektrischen und mechanischen Problemen ist besonders anspruchsvoll, aufgrund von verschiedenen Dimensionalitäten und Anforderungen bezüglich der Zeitschrittweite und der Auflösung des räumlichen Gitters der zugrundeliegenden physikalischen Probleme und führt zu einem Multiphysikproblem. Ein Skelettmuskelmodell dieser Größe und mit diesem Detailgrad zu lösen wurde bisher noch nie versucht und kann nicht ohne den Einsatz von Hochleistungsrechnern erreicht werden. Außerdem stellen die Anwendung, die Größe des Problems und die Menge der erzeugten Daten neue Herausforderungen an das Hochleistungsrechnen und die Visualisierung, die eine Interpretation der Ergebnisse erst ermöglicht.

HPC-getriebene Ziele (Numerik, Parallelität)

Alle Anwendungen, die ausreichend hochentwickelt sind, um Hochleistungsrechenressourcen effizient einsetzen zu können, stehen vor ähnlichen Herausforderungen und Zielen. Ein kürzlich veröffentlichter Bericht der Exascale Mathematics Working Group für das Advanced Scientific Computing Research Program des US-amerikanischen DOE fasst die Erwartungen an die Architektur und damit an die methodischen Herausforderungen an zukünftige Hardwaresysteme wie folgt zusammen:

  1. Die zu erwartende Leistungsbegrenzung auf 20 MW impliziert eine starke Limitierung der Anzahl und Organisation der Hardwarekomponenten und macht es sogar noch notwendiger, diese voll auszuschöpfen und erfordert letztendlich sogar den Einsatz energiebewusster Algorithmen und Software.
  2. Der größte Unterschied in der Performance zwischen derzeitigen Systemen und den Systemen der nächsten Generation wird eine 100 bis 1000-fache Erhöhung der Parallelität auf dem Knotenlevel sein, die zu einem extremen Grad an Nebenläufigkeit und erhöhter Heterogenität führt, z. B. durch spezialisierte Beschleunigerkerne.
  3. Die Menge an Speicher pro "Knoten" und die Speicherbandbreiten-Latenz wird sehr viel weniger zunehmen, was einen geringeren Speicherbedarf und höhere Datenlokalität erfordert.
  4. Letztendlich wird erwartet, dass Hardwarefehler und daher die mean-time-between-faiture (MTBF) proportional (oder schlimmer) zur Komponentenzahl zunehmen.
Im Rahmen dieses Forschungsvorhabens werden (2.) und (3.) relevant sein.

Unsere Hypothese ist, dass signifikante Verbesserungen der Performance nur durch eine hardware-orientierte Numerik erreicht werden können. Dies gilt allgemein für alle Multiphysik PDE/ODE-Simulationen und im Speziellen für die vorgeschlagene chemoelektromechanische Simulation. Nur eine Kombination von Techniken der Computerarchitekturen, des Software-Enginerings, der numerischen Modellierung und der numerischen Analysis kann eine zufriedenstellende Skalierung auf dem Applikationslevel ermöglichen. Wir betonen hierbei, dass hardware-orientierte Numerik mit mehr als nur hardware-effizienten Implementierungen verbunden ist. Es ist vielmehr das explizite Ziel, gleichzeitig die numerische Effizienz (Genauigkeit, asymptotisch optimale Konvergenz, Flexibilität), die parallele Effizienz (schwache und starke Skalierbarkeit, Unabhängigkeit von der Problemaufteilung) und die Hardware-Effizienz (FLOP-Rate, Sättigung der Speicherbandbreite) zu maximieren. Diese Ziele widersprechen sich für ODE- und PDE-Simulationen oft gegenseitig und ein sorgfältiger Ausgleich ist erforderlich. Schemata höherer Ordnung in Raum und Zeit zum Beispiel können vorteilhaft in Bezug auf die Datenlokalität sein, neigen aber dazu, die Multiphysikkopplung komplizierter zu machen.

Diese Herausforderungen können nur durch methodische und interdisziplinäre Forschung bewältigt werden. In Bezug auf die Modellierung spiegelt die hierarchische Organisation von Modellen mit unterschiedlicher Dimensionalität (OD, 1D, 3D) die tatsächliche Physiologie von Skelettmuskeln gut wider und ist ausreichend generell, um viele verschiedene Anwendungen zu erlauben. Die existierende Struktur erlaubt eine Erweiterung des vorhandenen Modells um mechanoelektrische Rückkopplungen, d. h. um sensorische Organe (Muskelspindeln, Golgi-Sehnen-Organe) in den Muskeln, die den Zustand des Muskels in elektrische Signale übersetzen, die zurück ans zentrale Nervensystem geleitet werden. Diese Rückkopplung ist wichtig, um z. B. Reflexe zu simulieren. Außerdem ist es möglich, die Berechnung der EMG-Signale in das multiskalige Skelettmuskelmodell zu integrieren, statt, wie bisher, ein zeitraubendes I/O zu verwenden. Dies gilt ebenso für eine Verbesserung der Homogenisierungstechnik, um die Lücke zwischen den mikroskopischen Modellen der Anregungs-Kontraktions-Kopplung in den Halbsarkomeren und dem makroskopischen kontinuumsmechanischen Modell zu überbrücken. Neben diesen Erweiterungen und Veränderungen, die das Modellierungsgerüst betreffen, zielen andere Forschungsfragen in der Modellierung auf eine Verbesserung und Erweiterung der einzelnen Modellkomponenten ab.

Ebenso wichtig sind neue HPC-Techniken, die es erlauben, das zunehmend komplexe Design von modernen Supercomputern voll auszuschöpfen. Diese Rechner sind nicht mehr flach und homogen, sondern hierarchisch und heterogen, sowohl in der Kommunikation, als auch in der Berechnung. Diese beinhalteten Techniken wie Lokalität, Blocking, Kommunikationsvermeidung, Vektorisierung und die Verwendung von Hardwarebeschleunigern wie GPUs. Eine weitere große Herausforderung, die nicht unterschätzt werden darf, ist das Design von Interfaces mit minimalem Overhead, die die Heterogenität und Komplexität der Hardware vor dem Modellierungsexperten verstecken, in diesem Fall vor dem Forscher, der neue biomechanische Modelle entwickelt. Dies gilt vor allem dann, wenn man das Ziel der Performance-Übertragbarkeit erreichen will, während ein substanzieller Anteil der Peak-Performance auf der aktuellen Maschine genutzt wird.

Schließlich erfordert die multiskalige und multiphysikalische Natur des Problems die Orchestrierung und Optimierung von Simulationsphasen, die eigentlich unterschiedlich sind und von speichergebundenen Finite-Elemente-Diskretierungen mit niederer Ordnung bis hin zu berechnungsgebundenen, impliziten Zeitschrittverfahren mit hoher Ordnung für ODEs und von meist entkoppelten, hochgradig einfachen, parallelen Subproblemen (Ausbreitung des Aktionspotentials entlang der Muskelfasern und die Erregungs-Kontraktions-Kopplung in den Sarkomeren) bis hin zu global gekoppelten, nichlinearen Problemen, die aus der Kontinuumsmechanik entstehen, reichen. Zusammen erfordert dies effiziente Lastverteilung, Scheduling und Mapping-Algorithmen, um jedes Subproblem auf dem Teil der potentiell heterogenen Maschine auszuführen, der am besten für die entsprechenden Charakteristiken geeignet ist. Darüber hinaus müssen neue Algorithmen entwickelt werden, die die verschiedenen Simulationsphasen orchestrieren und überlappen.

Wie bereits erwähnt, bildet die internationale, Open-Source-Software-Bibliothek OpenCMISS die Basis für dieses Forschungsprojekt. Der Berechnungsteil von OpenCMISS, OpenCMISS-Iron, ist eine MPI-basierte Software-Bibliothek, die speziell für komplexe Probleme mit mehreren verschiedenen Längen- und Zeitskalen, wie sie in biomechanischen Anwendungen auftreten, entwickelt wird. OpenCMISS wurde bereits dafür verwendet, die Ausbreitung eines Signals (Reaktions-Diffusions-Gleichung) im dreidimensionalen Raum auf mehr als 1024 Prozessoren zu berechnen. Die Tatsache, dass von einem elektrophysiologischen Standpunkt aus die Muskelfasern unabhängig voneinander arbeiten, bietet eine natürliche Möglichkeit für den Einsatz von parallelen, hybriden Berechnungstechniken innerhalb eines mechanischen Zeitschritts. So können die Muskelfasern als individuelle 1D geometrische Objekte betrachtet werden. Jedoch muss für die Entwicklung der Parallelisierungsstrategie für diese physiologische Eigenschaft der Muskelfasern auch die Kommunikation mit dem Löser für das kontinuumsmechanische Problem und die Berechnung der Oberflächenpotentiale für den Vergleich mit den Messungen betrachtet werden. Dies macht die gesamte Simulationsumgebung zu einem vielversprechenden System für den Einsatz von großen HPC-Rechenclustern (z.B. auf ForHLR am SCC oder Hazel Hen am HLRS, sowie zukünftige Tier-2 und Tier-1 Systeme, wobei Forschungsfragen bezüglich der tatsächlichen Details der Parallelisierungsstrategie noch offen sind.

Visualisierungsgetriebene Ziele

Die Visualisierung ist ein wesentlicher Bestandteil des Projekts, um speziell zugeschnittene visuelle Analysemethoden für die Ergebnisse bereitzustellen. Ein Beispiel ist die Visualisierung des EMG-Potentials auf der Oberfläche und im Muskel, aber auch die visuelle Analyse der Änderung in der Ausbreitungsgeschwindigkeit, der Motorkontrolle und der Synchronisation von motorischen Einheiten, der Muskelfasern selbst und ihrer Deformation, die durch die Kontraktion hervorgerufen wird. Während OpenCMISS-Zinc, die Visualisierungsbibliothek von OpenCMISS, bereits vielfältige Funktionalitäten bietet, verwendet es eine veraltete Version von OpenGL fur das Rendering, was unnötige Einschränkungen für die Visualisierung mit sich bringt. Außerdem bietet es nicht die Möglichkeit des in-situ Renderings von großen Datensets. Es ist daher das Ziel, ein spezielles Visualisierungssystem zu entwickeln, das den Herausforderungen, die während des Projekts entstehen werden, gewachsen ist und die visuellen Analyseaufgaben der Projektpartner unterstützt. Dieses Visualisierungssystem wird nicht nur eine flexible Plattform für die Entwicklung von neuen Visualisierungsmethoden in den verschiedenen Bereichen bieten, die für die hier zu erwartenden Daten (z. B. geometrische Modelle, volumetrische Daten, Vektor- und Tensorfelder) relevant sind, sondern auch ein eigenes Forschungsziel sein, da es auch auf den HPC-Clustern für die in-situ Visualisierung eingesetzt werden wird, welches aus Sicht der visuellen Analyse eine bisher nicht ausreichend gelöste Herausforderung darstellt.

Anwendungsgetriebene Ziele

Bevor modellbasierte Vorhersagen mit dem verbesserten und optimierten Modell getroffen werden können, sollte idealerweise das gesamte Modell des muskulären Systems verifiziert werden. Dies ist eine große Herausforderung und kann nur in Form eines qualitativen Vergleichs von individuellen Modellkomponenten, dem Testen von Hypothesen und durch die Untersuchung des Gesamtsystemverhaltens erfolgen. Das (teilweise) verifizierte Berechnungsmodell soll die Basis bilden für die Entwicklung eines realistischen in-silico Prüfstands, der es erlaubt, existierende Dekodierungsalgorithmen zu untersuchen. Das Ziel ist es, dass dieser Prüfstand von Neurowissenschaftlern für die Analyse und Verifikation ihrer Dekodierungsmethoden, die auf experimentell gemessenen Daten basieren, verwendet werden kann. Außerdem sollen Änderungen in den biophysikalischen Eigenschaften, z. B. eine Änderung der Ausbreitungsgeschwindigkeit und ihre Implikationen in Bezug auf das Modell des gesamten neuromuskularen Systems analysiert werden, um neue Erkenntnisse in die Muskelermüdung zu erhalten. Darüber hinaus soll das Modell so aufgesetzt werden, dass MultiQuery-Simulationen direkt möglich sind.

Zusammenfassung

Um diese Ziele zu erreichen, zielt das Projekt daher darauf ab, Aspekte der Computermodellierung, der effizienten Numerik und der hybriden Rechenmethoden, der in-situ Visualisierung der Rechenergebnisse und die Erstellung einer realistischen Muskelgeometrie, ihre Datenstruktur und ihre Verteilung über das Hochleistungsrechensystem zu adressieren. Alle vier Ziele stellen für sich genommen einen substanziellen Fortschritt in ihrem eigenen Bereich dar.

DiHu

Towards a digital human: Providing new possibilities to improve the understanding of the neuromuscular system by switching from small-sized cluster model problems to realistic simulations on HPC clusters

Kontakt

Oliver Röhrle
roehrle@simtech.uni-stuttgart.de