Filtern
Dokumenttyp
- Masterarbeit (16) (entfernen)
Sprache
- Englisch (16) (entfernen)
Schlagworte
- virtual reality (3)
- DTI (1)
- Diffusionsbildgebung (1)
- Fiber Tracking (1)
- GPU (1)
- Gehirn (1)
- IceCube (1)
- Maschinelles Lernen (1)
- Material Point Method (1)
- MeVisLab (1)
- Mitral Valve (1)
- Mitralklappe (1)
- Neutino (1)
- Physiksimulation (1)
- Robust Principal Component Analysis (1)
- Sand (1)
- Schnee (1)
- Segmentation (1)
- Segmentierung (1)
- Statistical Shape Model (1)
- Ultraschall (1)
- Ultrasound (1)
- image warping (1)
- leap motion (1)
- machine learning (1)
- performance optimization (1)
- stereoscopic rendering (1)
- tracking (1)
- volume rendering (1)
- warp divergence (1)
Institut
- Institut für Computervisualistik (16) (entfernen)
Künstliche neuronale Netze sind ein beliebtes Forschungsgebiet der künst-
lichen Intelligenz. Die zunehmende Größe und Komplexität der riesigen
Modelle bringt gewisse Probleme mit sich. Die mangelnde Transparenz
der inneren Abläufe eines neuronalen Netzes macht es schwierig, effiziente
Architekturen für verschiedene Aufgaben auszuwählen. Es erweist sich als
herausfordernd, diese Probleme zu lösen. Mit einem Mangel an aufschluss-
reichen Darstellungen neuronaler Netze verfestigt sich dieser Zustand. Vor
dem Hintergrund dieser Schwierigkeiten wird eine neuartige Visualisie-
rungstechnik in 3D vorgestellt. Eigenschaften für trainierte neuronale Net-
ze werden unter Verwendung etablierter Methoden aus dem Bereich der
Optimierung neuronaler Netze berechnet. Die Batch-Normalisierung wird
mit Fine-tuning und Feature Extraction verwendet, um den Einfluss der Be-
standteile eines neuronalen Netzes abzuschätzen. Eine Kombination dieser
Einflussgrößen mit verschiedenen Methoden wie Edge-bundling, Raytra-
cing, 3D-Impostor und einer speziellen Transparenztechnik führt zu einem
3D-Modell, das ein neuronales Netz darstellt. Die Validität der ermittelten
Einflusswerte wird demonstriert und das Potential der entwickelten Visua-
lisierung untersucht.
In dieser Arbeit wird die Geschwindigkeit des Simulationscodes zur Pho-
tonenausbreitung beim IceCube-Projekt (clsim) optimiert. Der Prozess der
GPU-Code-Analyse und Leistungsoptimierung wird im Detail beschrie-
ben. Wenn beide Codes auf der gleichen Hardware ausgeführt werden,
wird ein Speedup von etwa 3x gegenüber der ursprünglichen Implemen-
tierung erreicht. Vergleicht man den unveränderten Code auf der derzeit
von IceCube verwendeten Hardware (NVIDIA GTX 1080) mit der opti-
mierten Version, die auf einer aktuellen GPU (NVIDIA A100) läuft, wird
ein Speedup von etwa 9,23x beobachtet. Alle Änderungen am Code wer-
den vorgestellt und deren Auswirkung auf die Laufzeit und Genauigkeit
der Simulation diskutiert.
Der für die Optimierung verfolgte Weg wird dann in einem Schema
verallgemeinert. Programmierer können es als Leitfaden nutzen, um große
und komplexe GPU-Programme zu optimieren. Darüber hinaus wird die
per warp job-queue, ein Entwurfsmuster für das load balancing innerhalb
eines CUDA-Thread-Blocks, im Detail besprochen.
Konstituenten-Parsing versucht, syntaktische Struktur aus einem Satz zu extrahieren. Diese Parsing-Systeme sind in vielen maschinellen Sprachverarbeitungsanwendungen hilfreich, wie z.B. bei der Grammatikprüfung, der Beantwortung von Fragen und der Informationsextraktion. In dieser Masterarbeit geht es um die Implementierung eines Konstituentenparsers für die deutsche Sprache mit Hilfe von neuronalen Netzen. In der Vergangenheit wurden wiederkehrende neuronale Netze beim Aufbau eines Parsers und auch bei vielen maschinellen Sprachverarbeitungsanwendungen verwendet. Dabei werden Module des neuronalen Netzes mit Selbstaufmerksamkeit intensivgenutzt, um Sätze effektiv zu verstehen. Bei mehrschichtigen Selbstaufmerksamkeitsnetzwerken erreicht das konstituierende
Parsen 93,68% F1-Scoret. Dies wird noch weiter verbessert, indem sowohl Zeichen- als auch Worteinbettungen als Darstellung des Inputs verwendet werden. Ein F1-Score von 94,10% wurde am besten durch den Konstituenten-Parser erreicht, der nur den bereitgestellten Datensatz verwendet. Mit Hilfe externer Datensätze wie der deutschen Wikipedia werden vortrainierte ELMo-Modelle zusammen mit Selbstbeobachtungsnetzwerken verwendet, die einen F1-Score von 95,87% erreichen.
Since the invention of U-net architecture in 2015, convolutional networks based on its encoder-decoder approach significantly improved results in image analysis challenges. It has been proven that such architectures can also be successfully applied in different domains by winning numerous championships in recent years. Also, the transfer learning technique created an opportunity to push state-of-the-art benchmarks to a higher level. Using this approach is beneficial for the medical domain, as collecting datasets is generally a difficult and expensive process.
In this thesis, we address the task of semantic segmentation with Deep Learning and make three main contributions and release experimental results that have practical value for medical imaging.
First, we evaluate the performance of four neural network architectures on the dataset of the cervical spine MRI scans. Second, we use transfer learning from models trained on the Imagenet dataset and compare it to randomly initialized networks. Third, we evaluate models trained on the bias field corrected and raw MRI data. All code to reproduce results is publicly available online.
Die Material Point Method (MPM) hat sich in der Computergrafik als äußerst fähige Simulationsmethode erwiesen, die in der Lage ist ansonsten schwierig zu animierende Materialien zu modellieren [1, 2]. Abgesehen von der Simulation einzelner Materialien stellt die Simulation mehrerer Materialien und ihrer Interaktion weitere Herausforderungen bereit. Dies ist Thema dieser Arbeit. Es wird gezeigt, dass die MPM durch die Fähigkeit Eigenkollisionen implizit handzuhaben ebenfalls in der Lage ist Kollisionen zwischen Objekten verschiedenster Materialien zu beschreiben, selbst, wenn verschiedene Materialmodelle eingesetzt werden. Dies wird dann um die Interaktion poröser Materialien wie in [3] erweitert, was ebenfalls gut mit der MPM integriert. Außerdem wird gezeigt das MPM auf Basis eines einzelnen Gitters als Untermenge dieses Mehrgitterverfahrens betrachtet werden kann, sodass man das gleiche Verhalten auch mit mehreren Gittern modellieren kann. Die poröse Interaktion wird auf beliebige Materialien erweitert, einschließlich eines frei formulierbaren Materialinteraktionsterms. Das Resultat ist ein flexibles, benutzersteuerbares Framework das unabhängig vom Materialmodell ist. Zusätzlich wird eine einfache GPU-Implementation der MPM vorgestellt, die die Rasterisierungspipeline benutzt um Schreibkonflikte aufzulösen. Anders als andere Implementationen wie [4] ist die vorgestellte Implementation kompatibel mit einer Breite an Hardware.
Tracking ist ein zentraler Bestandteil vieler moderner technischer Anwendungen, insbesondere in den Bereichen autonome Systeme und Augmented Reality. Für Tracking gibt es viele unterschiedliche Ansätze. Ein erst seit kurzem verfolgter ist die Verwendung von Neuronalen Netzen. Im Rahmen dieser Masterarbeit wird eine eine Anwendung erstellt, welche für das Tracking ein Neuronales Netz verwendet. Dazu gehört ebenfalls die Erstellung von Trainingsdaten, sowie die Erstellung des Neuronalen Netzes und dessen Training.
Anschließend wird die Verwendung von Neuronalen Netzen für Tracking analysiert und ausgewertet. Hierunter fallen verschiedene Aspekte. Es wird für eine unterschiedliche Anzahl an Freiheitsgraden geprüft wie gut das Tracking funktioniert und wie viel Performance dieser Ansatz kostet. Des Weiteren wird die Menge der benötigten Trainingsdaten untersucht, der Einfluss der Architektur des Netzwerks und wie wichtig das Vorhandensein von Tiefendaten für die Funktion des Trackings ist. Dies soll einen Einblick ermöglichen wie relevant dieser Ansatz für den Einsatz in zukünftigen Produkten sein könnte.
Mit dem Erscheinen moderner Virtual Reality (VR) Headsets auf dem Verbrauchermarkt, gab es den bisher größten Aufschwung in der Geschichte der VR Technologie. Damit einhergehend rücken aber auch die Problematiken aktueller VR Hardware immer mehr in den Vordergrund. Insbesondere die Steuerung in VR war schon immer ein komplexes Thema.
Eine mögliche Lösung bietet die Leap Motion: Ein Hand-Tracking Gerät, welches ursprünglich für den Desktop-Einsatz entwickelt wurde, aber mit dem letzten größeren Softwareupdate an üblichen VR Headsets angebracht werden kann. Dieses Gerät ermöglicht ein sehr genaues Tracking beider Hände und aller Finger. Damit ist es möglich, diese vollständig in der VR Welt zu replizieren und zur Steuerung zu verwenden.
Ziel dieser Arbeit ist es, virtuelle Benutzeroberflächen zu entwerfen, die mit der Leap Motion bedient werden können. Dies soll eine natürliche Interaktion zwischen dem Benutzer und der VR-Umgebung ermöglichen. Danach werden mit Hilfe einer Demoanwendung Probanden-Tests durchgeführt, um ihre Leistung zu bewerten und mit herkömmlichen VR-Reglern zu vergleichen.
In scientific data visualization huge amounts of data are generated, which implies the task of analyzing these in an efficient way. This includes the reliable detection of important parts and a low expenditure of time and effort. This is especially important for the big-sized seismic volume datasets, that are required for the exploration of oil and gas deposits. Since the generated data is complex and a manual analysis is very time-intensive, a semi-automatic approach could on one hand reduce the time required for the analysis and on the other hand offer more flexibility, than a fully automatic approach.
This master's thesis introduces an algorithm, which is capable of locating regions of interest in seismic volume data automatically by detecting anomalies in local histograms. Furthermore the results are visualized and a variety of tools for the exploration and interpretation of the detected regions are developed. The approach is evaluated by experiments with synthetic data and in interviews with domain experts on the basis of real-world data. Conclusively further improvements to integrate the algorithm into the seismic interpretation workflow are suggested.
Mit dem Aufkommen von Head-Mounted Displays (HMDs) der aktuellen Generation erlangt Virtual Reality (VR) wieder großes Interesse im Feld von medizinischer Bildgebung und Diagnose. Exploration von CT oder MRT Daten in raumfüllender Virtual Reality stellt eine intuitive Anwendung dar. Allerdings gilt in Virtual Reality, dass das Aufrechterhalten einer hohen Bildwiederholungsrate noch wichtiger ist als bei konventioneller Benutzerinteraktion, die sitzend vor einem Bildschirm erfolgt. Es existieren starke wissenschaftliche Hinweise, die nahelegen, dass geringe Bildwiederholungsraten und hohe Latenzzeit einen starken Einfluss auf das Auftreten von Cybersickness besitzen. Diese Abschlussarbeit untersucht zwei praktische Ansätze, um den hohen Rechenaufwand von Volumenrendering zu überkommen. Einer liegt in der Ausnutzung von Kohärenzeigenschaften des besonders aufwändigen stereoskopischen Rendering Set-ups. Der Hauptbeitrag ist die Entwicklung und Auswertung einer neuartigen Beschleunigungstechnik für stereoskopisches GPU Raycasting. Zudem wird ein asynchroner Renderingansatz verfolgt, um das Ausmaß von Latenz im System zu minimieren. Eine Auswahl von Image-Warping Techniken wurden implementiert und systematisch evaluiert, um die Tauglichkeit für VR Volumenrendering zu bewerten.
Statistical Shape Models (SSMs) are one of the most successful tools in 3Dimage analysis and especially medical image segmentation. By modeling the variability of a population of training shapes, the statistical information inherent in such data are used for automatic interpretation of new images. However, building a high-quality SSM requires manually generated ground truth data from clinical experts. Unfortunately, the acquisition of such data is a time-consuming, error-prone and subjective process. Due to this effort, the majority of SSMs is often based on a limited set of this ground truth training data, which makes the models less statistically meaningful. On the other hand, image data itself is abundant in clinics from daily routine. In this work, methods for automatically constructing a reliable SSM without the need of manual image interpretation from experts are proposed. Thus, the training data is assumed to be the result of any segmentation algorithm or may originate from other sources, e.g. non-expert manual delineations. Depending on the algorithm, the output segmentations will contain errors to a higher or lower degree. In order to account for these errors, areas of low probability of being a boundary should be excluded from the training of the SSM. Therefore, the probabilities are estimated with the help of image-based approaches. By including many shape variations, the corrupted parts can be statistically reconstructed. Two approaches for reconstruction are proposed - an Imputation method and Weighted Robust Principal Component Analysis (WRPCA). This allows the inclusion of many data sets from clinical routine, covering a lot more variations of shape examples. To assess the quality of the models, which are robust against erroneous training shapes, an evaluation compares the generalization and specificity ability to a model build from ground truth data. The results show, that especially WRPCA is a powerful tool to handle corrupted parts and yields to reasonable models, which have a higher quality than the initial segmentations.
While Virtual Reality has been around for decades it gained new life in recent years. The release of the first consumer hardware devices allows fully immersive and affordable VR for the user at home. This availability lead to a new focus of research on technical problems as well as psychological effects. The concepts of presence, describing the feeling of being in the virtual place, body ownership and their impact are central topics in research for a long time and still not fully understood.
To enable further research in the area of Mixed Reality, we want to introduce a framework that integrates the users body and surroundings inside a visual coherent virtual environment. As one of two main aspects we want to merge real and virtual objects to a shared environment in a way such that they are no longer visually distinguishable. To achieve this the main focus is not supposed to be on a high graphical fidelity but on a simplified representation of reality. The essential question is, what level of visual realism is necessary to create a believable mixed reality environment that induces a sense of presence in the user? The second aspect considers the integration of virtual persons. Can characters be recorded and replayed in a way such that they are perceived as believable entities of the world and therefore act as a part of the users environment?
The purpose of this thesis was the development of a framework called Mixed Reality Embodiment Platform. This inital system implements fundamental functionalities to be used as a basis for future extensions to the framework. We also provide a first application that enables user studies to evaluate the framework and contribute to aforementioned research questions.
In recent years head mounted displays (HMD) and their abilities to create virtual realities comparable with the real world moved more into the focus of press coverage and consumers. The reason for this lies in constant improvements in available computing power, miniaturisation of components as well as the constantly shrinking power consumption. These trends originate in the general technical progress driven by advancements made in smartphone sector. This gives more people than ever access to the required components to create these virtual realities. However at the same time there is only limited research which uses the current generation of HMDs especially when comparing the virtual and real world against each other. The approach of this thesis is to look into the process of navigating both real and virtual spaces while using modern hardware and software. One of the key areas are the spatial and peripheral perception without which it would be difficult to navigate a given space. The influence of prior real and virtual experiences on these will be another key aspect. The final area of focus is the influence on the emotional state and how it compares to the real world. To research these influences a experiment using the Oculus Rift DK2 HMD will be held in which subjects will be guided through a real space as well as a virtual model of it. Data will be gather in a quantitative manner by using surveys. Finally, the findings will be discussed based on a statistical evaluation. During these tests the different perception of distances and room size will the compared and how they change based on the current reality. Furthermore, the influence of prior spatial activities both in the real and the virtual world will looked into. Lastly, it will be checked how real these virtual worlds are and if they are sufficiently sophisticated to trigger the same emotional responses as the real world.
Die vorliegende Arbeit behandelt Techniken zur interakativen und physikalisch basierten Darstellung von Haaren für Computer-Generated Imagery (CGI). Dafür werden Techniken zur Simulation und Approximierung der Interaktionen von Licht mit Haar hergeleitet und vorgestellt. Des Weiteren wird beschrieben, wie Haare, trotz solch berechnungsintensiver Algorithmen, sehr interaktiv dargestellt werden können. Verfahren zur Berechnung von Schatten in Haaren sowie Ansätze zur effizienten Darstellung von Haar als transparente Geometrie werden ebenfalls vorgestellt. Einen Hauptschwerpunkt der Arbeit bildet dabei der DBK-Buffer, welcher im Rahmen dieser konzeptioniert, implementiert und evaluiert wurde. Mit Hilfe des DBK-Buffers ist es möglich tausende von transparenten Haaren sehr effizient darzustellen ohne auf Funktionalitäten der neusten Grafikkarten-Generation, oder sehr viel Videospeicher, angewiesen zu sein. Darüber hinaus wurde eine umfassende Evaluierung der beschriebenden Techniken bezüglich der visuellen Qualität, der Performanz und des Speicheraufwandes durchgeführt. Dabei wurde gezeigt, dass Haare nicht nur mit interaktiven, sondern sogar mit echtzeitfähigen Bildwiederholungsraten physikalisch basiert dargestellt werden können.
Die Mitralklappe ist eine der vier Herzklappen des Menschen und in der linken Herzkammer zu finden. Ihre Funktion ist es, den Blutfluss vom linken Atrium zum linken Ventrikel zu regeln. Pathologien können zu eingeschränker Funktionalität der Klappe führen, sodass Blut zurück ins Atrium fließen kann. Patienten, die von einer Fehlfunktion betroffen sind, leiden möglicherweise an Erschöpfung und Schmerzen in der Brust. Die Funktionalität kann chirurgisch wiederhergestellt werden, was meist ein langer und anstrengender Eingriff ist. Eine gründliche Planung ist daher nötig, um eine sichere und effektive Operation zu garantieren. Dies kann durch prä-operative Segmentierungen der Mitralklappe unterstützt werden. Eine post-operative Analyse kann den Erfolg eines Eingriffs feststellen. Diese Arbeit wird bestehende und neue Ideen zu einem neuen Ansatz kombinieren, der zur (semi-)automatischen Erstellung solcher Mitralmodelle dienen kann. Der manuelle Anteil garantiert ein Modell hoher Qualität, während der automatische Teil dazu beiträgt, wertvolle Arbeitszeit zu sparen.
Die Hauptbeiträge des automatischen Algorithmus sind eine ungefähre semantische Trennung der beiden Mitralsegel und ein Optimierungsprozess, der in der Lage ist, eine Koaptations-Linie und -Fläche zwischen den Segeln zu finden. Die Methode kann eine vollautomatische Segmentierung der Mitralsegel durchführen, wenn der Annulusring bereits gegeben ist. Die Zwischenschritte dieses Vorgangs werden in eine manuelle Segmentierungsmethode integriert, so dass ein Benutzer den Gesamtprozess beeinflussen kann. Die Qualität der generierten Mitralmodelle wird durch das Vergleichen mit vollständig manuell erstellten Modellen gemessen. Dies wird zeigen, dass übliche Methoden zur Bestimmung der Qualität einer Segmentierung zu allgemein gefasst sind und nicht ausreichen, um die echte Qualität eines Modells widerspiegeln zu können. Folglich führt diese Arbeit Messungen ein, die in der Lage sind, eine Segmentierung der Mitralklappe detailliert und unter Betracht anatomischer Landmarken bewerten zu können. Neben der intra-operativen Unterstützung eines Chirurgen liefert eine segmentierte Mitralklappe weitere Vorteile. Die Möglichkeit, die Anatomie einer Klappe patientenspezifisch aufzunehmen und objektiv zu bewerten, könnte als Grundlage für zukünftige medizinische Forschung in diesem Bereich dienen. Die Automatisierung erlaubt dabei das Bearbeiten großer Datenmengen mit reduzierter Abhängigkeit von Experten. Desweiteren könnten Simulationsmethoden, welche ein segmentiertes Modell als Eingabe nutzen, das Ergebnis einer Operation vorhersagen.
Objekterkennung ist ein gut erforschtes Gebiet bei bildbasiertem Rechnersehenrnund eine Vielzahl an Methoden wurden entwickelt. In letzter Zeit haben sich dabei Ansätze verbreitet, die auf dem Implicit Shape Model-Konzept basieren. Dabei werden Objekte zunächst in grundlegende visuelle Bestandteile aufgetrennt, die um örtliche Informationen erweitert werden. Das so generierte Objektmodell wird dann in der Objekterkennung genutzt, um unbekannte Objekte zu erkennen. Seit dem Aufkommen von erschwinglichen Tiefenkameras wie der Microsoft Kinect wurde jedoch die Objekterkennung mittels 3D-Punktwolken von zunehmender Bedeutung. Im Rahmen des Robotersehens in Innenräumen wird ein Verfahren entwickelt, welches auf vorhandenen Ansätze aufbaut und damit die Implicit Shape Model basierte Objekterkennung für die Verarbeitung von 3D-Punktwolken erweitert.
Tractography on HARDI data
(2011)
Diffusionsgewichtete Bildgebung ist eine wichtige Modalität in der klinischen Praxis. Sie stellt gegenwärtig die einzige Möglichkeit dar, nicht invasiv und in vivo Einblicke in das menschliche Gehirn zu erhalten. Die Einsatzgebiete dieser Technik sind sehr vielseitig. Sie wird zur Untersuchung des Gehirns, seiner Struktur, seiner Entwicklung und der Funktionsweisenseiner verschiedenen Areale einsetzt. Weiterhin spielt diese Modalität eine wichtige Rolle bei der Operationsplanung am Gehirn und der Untersuchung von Schlaganfall, Alzheimer und Multipler Sklerose. Diese Arbeit gibt eine kurze Einführung in die Bildgebungmittels MRT und geht auf die Entstehung diffusionsgewichtete Bilder ein. Darauf aufbauend wird der Diffusionstensor, die am meisten verbreitete Datenrepräsentation in der Diffusionsbildgebung, vorgestellt. Da die Repräsentation der Diffusion als Diffusionstensor erhebliche Einschränkungen darstellt, werden neue Methoden zur Datenrepräsentation vorgestellt und diskutiert. Diese neuen Methoden werden unter dem Begriff HARDI (Diffusionsbildgebung mit hoher Winkelauflösung, von engl. high angular resolution diffusion imaging) zusammengefasst. Weiterhin wird eine ausführliche Einführung in das Thema der Traktografie, der Rekonstruktion von Nervenbahnen im Gehirn, gegeben. Basierend auf diesem theoretischenWissen werden etablierte Algorithmen der Traktografie von Diffusionstensor- auf HARDI-Daten überführt. Dadurch wird die Rekonstruktion derNervenbahnen entscheidend verbessert. Es wird eine vollständig neue Methode vorgestellt, die in der Lage ist, Nervenbahnen sowohl auf einem Phantomdatensatz, als auch auf einem vom Menschen stammenden Gehirndatensatz zu rekonstruieren. Weiterhin wird ein neuartiger globaler Ansatz vorgestellt, um Voxel anhand ihrer Diffusionseigenschaften zu klassifizieren.