Simulieren in neuen Dimensionen
Das Ferdinand-Braun-Institut, Leibniz-Institut für Höchstfrequenztechnik (FBH), entwickelt zuverlässige Halbleiter für Anwendungen in den Bereichen Raumfahrt, Satelliten und Quantentechnologie. Dabei deckt das Institut die komplette Wertschöpfungskette ab – vom Chipdesign über die Prozessierung bis hin zu Modulen und Systemen. Als es darum ging, neue Computer für Simulationen im Bereich der Lasertechnologie zu beschaffen, wandte sich die Institutsleitung an den Simulationsspezialisten CADFEM.
Das effiziente Zusammenspiel von Hardware und Software ist bei den sehr anspruchsvollen Simulationsanwendungen, die vom FBH durchgeführt werden, besonders wichtig. Ein Anwendungsbeispiel ist eine Forschungsanlage für quantenoptische Experimente mit ultra-kalten Atomen, die ab 2025 an Bord der internationalen Raumstation ISS eingesetzt werden soll. Geplant sind Untersuchungen zu fundamentalphysikalischen Fragestellungen mit Quantenobjekten nahe dem absoluten Temperaturnullpunkt (-273,15 °C). Kernstücke der dafür notwendigen Diodenlasermodule sind am FBH entwickelte Laserdioden, die gemeinsam mit Optiken und weiteren passiven Elementen eingesetzt werden. Diese Lasermodule sind extrem robust und zeichnen sich trotzdem durch sehr geringe Abmessungen von nur 125 x 75 x 23 Millimeter aus.
CADFEM als kompetenter Partner für Simulation bekannt
Dazu erklärt Dr. Andreas Wicht, Head of Joint Lab Quantum Photonic Components: „Wir sind ein sehr anwendungsorientiertes Forschungsinstitut. Bei der Auslegung von praxisorientierten Systemen kommt es aber immer wieder vor, dass Informationen fehlen und wir deshalb physikalische Grundlagen untersuchen, um das Verhalten der Systeme besser zu verstehen und bestimmen zu können.“ Dafür sind auch eine Anzahl von Forschungslizenzen der Simulationssoftware von Ansys für mechanische, elektromagnetische, optische und photonische Analysen im Einsatz. Deshalb war CADFEM beim FBH schon als kompetenter Partner für Simulation bekannt. „Uns war aber nicht wirklich bewusst, dass wir dort auch entsprechende Hardware erwerben konnten“, berichtet Dr. Andreas Wicht. „Wir ließen uns gerne von Simulationsspezialisten von CADFEM unterstützen, die uns sehr schnell überzeugten, dass für uns eine skalierbare Lösung die richtige Entscheidung wäre. Denn diese lässt sich bei Bedarf sehr einfach ausbauen.“
Christoph Ruß, sein Kollege aus dem IT-Bereich ergänzt: „Wir investieren daher nicht nur in die Hardware von CADFEM, sondern kaufen auch entsprechende Dienstleistungen für die Installation und einige Stunden für den IT-Service bei auftretenden Fragen während des Betriebes ein.“ Die horizontal skalierbare Leistung wird durch den Zusammenschluss von einzelnen HPC-Servern (High Performance Computing) zu Gruppen erreicht. Damit kann per Clustering einem einzelnen Nutzer eine sehr hohe Rechenleistung zur Verfügung gestellt werden.
Clusterlösung mit elf leistungsfähigen Compute-Servern
Nach den ersten gemeinsamen Gesprächen der Simulationsanwender aus dem FBH und dem IT-Verantwortlichen Christoph Ruß mit den Hardware-Spezialisten von CADFEM sollte die Clusterlösung aus elf leistungsfähigen Compute-Servern mit jeweils 48 Prozessorkernen bestehen. Zehn wurden mit einem Arbeitsspeicher von 384 GByte geplant sowie ein Server mit einer erheblich höheren Speicherkapazität von 2 TByte. Letzterer wird hauptsächlich für besonders große Strukturen beim Einsatz von Ansys Lumerical verwendet.
Diese Software ermöglicht Photonik-Multiphysics-Simulationen, das heißt die Analyse elektrischer, thermischer, optischer und quantenoptischer Effekte in einem durchgehenden Workflow. Sie wurde erst im Jahr 2020 in das Ansys-Portfolio integriert. Damit ergänzt Lumerical das breite Spektrum der Optik-Simulationen, die von CADFEM angeboten werden.
Zusätzlich wurden für die Clusterlösung zwei Virtualisierungsserver für vier Anwender und ein Verwaltungsserver mit mehr als 200 TByte Speicherkapazität eingeplant. Insgesamt stehen somit 512 Kerne zur Berechnung zur Verfügung. Für Dr. Andreas Wicht ist das ein gutes Konzept, mit dem alle Beteiligten sehr zufrieden sind, da ein effizientes Zusammenspiel von Hardware und Software abgesichert werden konnte. Und auch Christoph Ruß bekräftigt diese Aussage und verweist zusätzlich auf die Zukunftsperspektive dieser skalierbaren Lösung, in die sehr einfach noch weitere Server integrierbar sind. Da gerade ein weiteres großes Entwicklungsprojekt für das FBH beauftragt wurde, beschäftigt er sich schon mit der Planung der Erweiterung.
Wir benötigen viel Rechenleistung und Arbeitsspeicher
Zur Auslegung von optimalen Laserkomponenten für die Raumfahrt und die Satellitenkommunikation werden unter anderem spezielle Arten von Spiegeln und Linsen eingesetzt, um die Verluste möglichst gering zu halten. Eine weitere Herausforderung ist die erforderliche Kompaktheit der Komponenten und gleichzeitig eine hohe Robustheit, denn viele bisherige Entwicklungen sind nur für den Laborbetrieb geeignet, das heißt für den Einsatz im Weltraum viel zu groß und zu schwer.
Dazu berichtet der FBH-Simulationsspezialist Dr. Igor Nechepurenko: „Für zuverlässige Ergebnisse müssen wir große Strukturen simulieren und benötigen deshalb möglichst viel Rechenleistung und Arbeitsspeicher. Mit vereinfachten Modellen oder Teilmodellen können wir uns nicht zufriedengeben, da wir die realen Verhältnisse und Verhaltensweisen untersuchen wollen. Viele Fachleute waren der Meinung, dass sich solche großen Strukturen mit Simulationsmodellen nicht komplett berechnen lassen. Aber wir haben gezeigt, dass es mit Ansys Lumerical funktioniert und sind mit den Ergebnissen sehr zufrieden.“ Mit der neuen Hardware lassen sich die Berechnungen bei vollständiger Auslastung aller einsetzbaren Kerne (512) in etwa 24 Stunden durchführen. Mit einem einzelnen Standardserver wäre die zehnfache Zeit notwendig.
Wie die erforderliche Kompaktheit und Robustheit erreichen?
Um immer kleinere Komponenten zu entwickeln und den gesamten Aufbau kompakter zu gestalten, werden auch viele klassisch thermomechanische Simulationen mit Ansys durchgeführt. Dabei ist die Erwärmung nicht das eigentliche Problem, sondern die dadurch auftretenden Verformungen sind sehr entscheidend. „Bei optischen Aufbauten mit einer Längsskala von einem Mikrometer, die der Wellenlänge entspricht, würde eine thermomechanische Verformung bei Linsen- oder Spiegelkomponenten von nur einem Mikrometer schon das Aus für die optische Einheit bedeuten“, betont Dr. Igor Nechepurenko. „Folglich müssen wir sehr genau simulieren, um zu analysieren bis an welche thermische Grenze wir gehen können.“
Dazu ergänzt Dr. Andreas Wicht: „Parallel arbeiten wir am FBH an einer noch kompakteren Variante und übertragen das bewährte Konzept der hybrid-aufgebauten Extended Cavity Diode Laser, kurz ECDL, derzeit auf einen einzigen Chip. Mit diesem neuen Konzept, das vollständig Halbleiter-technologisch realisiert wird, sind die zukünftigen Lasereinheiten nicht nur kleiner und robuster, sondern auch viel preisgünstiger.“ Das bedeutet aber mehr Funktionalität auf einem optoelektronischen Bauelement (Laserchip) zu realisieren.
Bisherige Methoden reichen nicht mehr aus
Dafür sind aber die bisherigen Designmethoden allein nicht mehr ausreichend. Denn die basieren oftmals auf den umfangreichen Erfahrungen der Kollegen bei Laserdimensionierungen, die sie über Jahre und Jahrzehnte gesammelt haben. Damit lassen sich einige wenige Parameter im Blick behalten und entsprechende Designs verbessern. Aber das funktioniert nicht, wenn eine Vielzahl von Parametern das Design bestimmen und beispielsweise Topologieoptimierungen durchgeführt werden sollen. Hier sind virtuelle Modelle notwendig, die nicht nur die prinzipielle Funktionsweise abbilden, sondern die Entwickler in die Lage versetzen, die reale Verhaltensweise auch von unterschiedlichen Varianten präzise vorherzusagen.
„Wir überprüfen zurzeit, wie präzise unsere Berechnungen sind“, erklärt Dr. Igor Nechepurenko. „Dazu führen wir immer wieder neue Berechnungen mit leicht modifizierten Einstellungen in der Software durch, um die damit erzielten Ergebnisse anschließend genau analysieren und vergleichen zu können. Diese Vielzahl von Berechnungen ist mit unserer neuen, leistungsfähigen Hardware, die vor einigen Monaten installiert wurde, sehr einfach durchführbar.“
Installation und IT-Betreuung per Remote
Dass diese Installation unter erschwerten Bedingungen erfolgen musste, darauf verweist der IT-Verantwortliche Christoph Ruß. Denn Klaus Fischer, einer der Hardware-Spezialisten von CADFEM, war in Pandemiezeiten in der Lage, die Installation des gesamten Server-Clusters zu koordinieren und durchzuführen, ohne selbst vor Ort zu sein. Die in den installierten HPE-Servern integrierten Kommunikationskomponenten ermöglichen es, die Rechner komplett ferngesteuert zu bedienen. Dies erleichtert einerseits die Remote-Betreuung, aber andererseits auch die Installation aus der Ferne. Wobei natürlich Christoph Ruß, vom FBH-IT-Service vor Ort, die erforderlichen „Handarbeiten“ erledigte.
„Klaus Fischer hat nicht nur sehr viel Know-how und umfassende Erfahrungen, sondern er kann auch sehr gut erklären“, berichtet Christoph Ruß. „Dadurch hat sich unsere Zusammenarbeit sehr einfach und angenehm gestaltet. Er konnte beispielsweise jedes gewünschte Rechnerkonfigurations-Image in das virtuelle Laufwerk packen, um es direkt auf dem jeweiligen Server zu installieren und anschließend die erforderliche Funktionsweise zu überprüfen.“
Man muss die gleiche Sprache sprechen
Die Anwesenheit von Klaus Fischer vor Ort war nicht unbedingt notwendig, aber er musste natürlich eine Vorstellung davon haben, wie die Installation vor Ort vonstattengehen muss. Zusätzlich ist zu berücksichtigen, welchen Kenntnisstand die Leute vor Ort haben. „Für Klaus Fischer war das kein Problem“, erläutert Christoph Ruß. „Er ist sehr zielgerichtet und professionell vorgegangen. Die ruhige Art, mit der er uns die durchzuführenden Arbeiten erklärte und entsprechendes Hintergrundwissen vermittelte, empfand ich als besonders angenehm. Es wurde schnell klar, dass wir die gleiche Sprache sprechen. Dadurch ist Vertrauen entstanden, das uns Sicherheit gibt und eine wichtige Grundlage für eine langfristige erfolgreiche Zusammenarbeit ist.“
Weiterer Ausbau schon beauftragt!
Der nächste Schritt dieser Zusammenarbeit wird gerade vollzogen, nämlich der weitere Ausbau der Cluster-Lösung um weitere elf Server auf dann 1040 Kerne. Wenn man bedenkt, dass die Simulationsspezialisten des FBH noch vor rund 20 Monaten lediglich mit einer deutlich geringeren Anzahl von Kernen für Ansys Mechanical und Elektromagnetik-Anwendungen gestartet sind, ist das ein enormer Sprung nach vorn. Die höhere Anzahl von Kernen kommt nicht nur dem Lumerical-Einsatz zugute, sondern natürlich auch den klassischen Ansys-Anwendungen. Das führt zu kürzeren Rechenzeiten und ermöglicht es, mehr oder größere Modelle zu analysieren.
Abschließend betont Dr. Andreas Wicht: „Wir haben das Gefühl, bei CADFEM stets in sehr guten Händen zu sein. Das gilt sowohl für die Software, die wir für unsere Simulationen benötigen, als auch für die Hardware, die in letzten Monaten mit Unterstützung von CADFEM von uns beschafft und erfolgreich installiert wurde. Auf Anwenderseite ist unter anderem Dr. Igor Nechepurenko mit dem CADFEM Support sehr zufrieden, aber auch von Seiten der FBH-internen IT lobt Christoph Ruß die angenehme Zusammenarbeit auf Augenhöhe mit CADFEM.“
Ferdinand-Braun-Institut
Leibniz-Institut für Höchstfrequenztechnik (FBH)
www.fbh-berlin.de
Dr. rer. nat. Andreas Wicht,
Head of Joint Lab Quantum Photonic Components
Autor: Gerhard Friederici (CADFEM Germany)
Bilder: © Ferdinand-Braun-Institut, Leibniz-Institut für Höchstfrequenztechnik (FBH)
Veröffentlicht: März, 2023
