Filtern
Erscheinungsjahr
Dokumenttyp
- Masterarbeit (13)
- Bachelorarbeit (5)
- Diplomarbeit (3)
- Dissertation (3)
Sprache
- Englisch (24) (entfernen)
Schlagworte
- virtual reality (3)
- Computer Graphics (2)
- Acceleration Structures (1)
- Avatar (1)
- Blickpunktabhängig (1)
- Computeranimation (1)
- Computergraphik (1)
- Computerspiel (1)
- ECSA (1)
- Entity Component System Architecture (1)
- GPGPU (1)
- Gefühl (1)
- Grafikkarte (1)
- Grafikprogrammierung (1)
- Graphicsprogramming (1)
- Graphik (1)
- Human motion (1)
- Line Space (1)
- Maschinelles Lernen (1)
- Maschinelles Sehen (1)
- Material Point Method (1)
- Mitral Valve (1)
- Mitralklappe (1)
- Motion Capturing (1)
- Natural Feature Tracking (1)
- OpenGL (1)
- OpenVDB (1)
- Physiksimulation (1)
- Prozedurale Synthese (1)
- Raytracing (1)
- Real-Time (1)
- Reflections (1)
- Reflektionen (1)
- Rendering (1)
- Robust Principal Component Analysis (1)
- Sand (1)
- Schnee (1)
- Segmentation (1)
- Segmentierung (1)
- Shader (1)
- Specular (1)
- Statistical Shape Model (1)
- Ultraschall (1)
- Ultrasound (1)
- Virtual characters (1)
- Virtuelle Realität (1)
- Volume Hatching (1)
- image warping (1)
- leap motion (1)
- machine learning (1)
- procedural content generation (1)
- stereoscopic rendering (1)
- tracking (1)
- video games (1)
- volume rendering (1)
Institut
Mit dem Erscheinen moderner Virtual Reality (VR) Headsets auf dem Verbrauchermarkt, gab es den bisher größten Aufschwung in der Geschichte der VR Technologie. Damit einhergehend rücken aber auch die Problematiken aktueller VR Hardware immer mehr in den Vordergrund. Insbesondere die Steuerung in VR war schon immer ein komplexes Thema.
Eine mögliche Lösung bietet die Leap Motion: Ein Hand-Tracking Gerät, welches ursprünglich für den Desktop-Einsatz entwickelt wurde, aber mit dem letzten größeren Softwareupdate an üblichen VR Headsets angebracht werden kann. Dieses Gerät ermöglicht ein sehr genaues Tracking beider Hände und aller Finger. Damit ist es möglich, diese vollständig in der VR Welt zu replizieren und zur Steuerung zu verwenden.
Ziel dieser Arbeit ist es, virtuelle Benutzeroberflächen zu entwerfen, die mit der Leap Motion bedient werden können. Dies soll eine natürliche Interaktion zwischen dem Benutzer und der VR-Umgebung ermöglichen. Danach werden mit Hilfe einer Demoanwendung Probanden-Tests durchgeführt, um ihre Leistung zu bewerten und mit herkömmlichen VR-Reglern zu vergleichen.
Eine genaue Schneesimulation ist der Schlüssel zur Erfassung der charakteristischen Visualisierung von Schnee. Aufwendige Methoden existieren, die versuchen Schneeverhalten ganzheitlich zu ergreifen. Die Rechenkomplexität dieser Ansätze hindert sie daran, Echtzeitfähigkeit zu erreichen. Diese Arbeit stellt drei Methoden vor, die unter Verwendung der GPU eine echtzeitfähige Deformation einer Schneeoberoberfläche darstellen. Die Ansätze werden hinsichtlich ihrer wahrheitsgetreuen Schneedarstellung untersucht und nach ihrer Fähigkeit, mit einer zunehmenden Anzahl von schneeverformenden Objekten zu skalieren. Die Ergebnisse zeigen, dass die Methoden bei mehreren hunderten schneeverformenden Objekten ihre Echtzeitfähigkeit beibehalten. Jedoch benachteiligen die charakteristischen Einschränkungen jener Methoden die visuellen Resultate. Ein experimenteller Ansatz ist es, die Anzahl der schneeverformenden Objekte zu reduzieren und durch Zusammenfügen der Methoden ein genaueres, kombiniertes Verformungsmuster zu erzeugen.
Prozedurale Synthese, das Erzeugen von Computerspielinhalten durch die Verwendung von pseudo-zufälligen Algorithmen, ist ein Themenbereich mit wachsendem Interesse in wirtschaftlichen und akademischen Kreisen, verdankt sowohl durch ihre Eignung zur Senkung von Entwicklungszeit und -kosten als auch durch die Möglichkeit, prozedurale Synthese zur Erzeugung von interessanten und einmaligen Spielwelten einzusetzen. Obwohl viele aktuelle Computerspiele prozedural generierte Inhalte verwenden, gebrauchen nur wenige diese Methoden zur Erzeugung realistischer Weltraum-Spielumgebungen, und die Umsetzbarkeit der Anwendung prozeduraler Synthese zur Entwicklung eines solchen Spiels wurde untersucht. Aktuelle Modelle aus der Forschung wurden verwendet, um eine in Echtzeit laufende astronomische Simulation in Python zu entwickeln, welche Stern- und Planetenobjekte in einer fiktiven Galaxie prozedural erzeugt, die als Spielwelt eines einfachen 2DWeltraumspiels dient, in welchem der Spieler nach intelligentem Leben suchen muss.
Die Entwicklung der echtzeitfähigen Computergrafik ermöglicht mittlerweile immer realistischere Bilder und die Hardware kann dafür optimal ausgenutzt werden, wodurch immer glaubwürdigere Lichtverhältnisse simuliert werden können. Eine große Anzahl von Algorithmen, effizient implementiert auf der Grafikkarte (GPU, auch Grafikprozessor)), sind fähig komplexe Lichtsituationen zu simulieren. Effekternwie Schatten, Lichtbrechung und Lichtreflexion können mittlerweile glaubwürdig erzeugt werden. Besonders durch Reflexionen wird der Realismus der Darstellung erhöht, da sie glänzende Materialien, wie z.B. gebürstete Metalle, nasse Oberflächen, insbesondere Pfützen oder polierte Böden, natürlich erscheinen lassen. Dabei geben sie einen Eindruck der Materialeigenschaften, wie Rauheit oder Reflexionsgrad.rnAußerdem können Reflexionen vom Blickpunkt abhängen: Eine verregnete Straße zum Beispiel würde Licht, abhängig von der Entfernung des Betrachters reflektieren und verwaschene Lichtreflexe erzeugen. Je weiter der Betrachter von der Lichtquelle entfernt ist, desto gestreckter erscheinen diese. Ziel dieser Bachelorarbeit ist, eine Übersicht über existierende Render-Techniken für Reflexionen zu geben, um den aktuellen Stand der Technik abzubilden. Reflexion entsteht durch den Einfall von Licht auf Oberflächen, die dieses in eine andere Richtung zurückwerfen. Um dieses Phänomen zu verstehen, wird eine Auffassung von Licht benötigt. Kapitel 2.1 beschreibt daher ein physikalisches Modell von Licht, gefolgt von Kapitel 2.2, das anhand von Beispielen ästhetisch wirkender Reflexionseffekte aus der realenrnWelt und den Medien die Motivation dieser Arbeit darlegt. In Kapitel 3 soll die generelle Vorgehensweise beim Rendern von Reflexionen deutlich gemacht werden. Danach wird in Kapitel 4 eine grobe Übersicht über existierende Ansätze gegeben. In Abschnitt 5 werden dann drei wesentliche Algorithmen vorgestellt, die zur Zeit oft in Spiel- und Grafikengines verwendet werden: Screen Space Reflections (SSR), Parallax-corrected cube mapping (PCCM) und Billboard Reflections (BBR). Diese drei Ansätze wurden zusammen in einem Framework implementiert. Dieses wird in Kapitel 5 vorgestellt und erklärt, gefolgt von detaillierten Beschreibungen der drei Techniken. Nachdem ihre Funktionsweise erklärt wurde, werden die Ansätze analysiert und auf ihre visuelle Qualität sowie ihre Echtzeitfähigkeit getestet. Abschließend werden die einzelnen Verfahren miteinander verglichen, um ihre Vor- und Nachteile zu untersuchen. Außerdem werden die gewonnenen Erfahrungen beschrieben und Verbesserungsansätze vorgeschlagen. Danach wird ein kurzer Ausblick zur voraussichtlichen Entwicklung von Render-Techniken spekularer Effekte gegeben.
Künstliche neuronale Netze sind ein beliebtes Forschungsgebiet der künst-
lichen Intelligenz. Die zunehmende Größe und Komplexität der riesigen
Modelle bringt gewisse Probleme mit sich. Die mangelnde Transparenz
der inneren Abläufe eines neuronalen Netzes macht es schwierig, effiziente
Architekturen für verschiedene Aufgaben auszuwählen. Es erweist sich als
herausfordernd, diese Probleme zu lösen. Mit einem Mangel an aufschluss-
reichen Darstellungen neuronaler Netze verfestigt sich dieser Zustand. Vor
dem Hintergrund dieser Schwierigkeiten wird eine neuartige Visualisie-
rungstechnik in 3D vorgestellt. Eigenschaften für trainierte neuronale Net-
ze werden unter Verwendung etablierter Methoden aus dem Bereich der
Optimierung neuronaler Netze berechnet. Die Batch-Normalisierung wird
mit Fine-tuning und Feature Extraction verwendet, um den Einfluss der Be-
standteile eines neuronalen Netzes abzuschätzen. Eine Kombination dieser
Einflussgrößen mit verschiedenen Methoden wie Edge-bundling, Raytra-
cing, 3D-Impostor und einer speziellen Transparenztechnik führt zu einem
3D-Modell, das ein neuronales Netz darstellt. Die Validität der ermittelten
Einflusswerte wird demonstriert und das Potential der entwickelten Visua-
lisierung untersucht.
While Virtual Reality has been around for decades it gained new life in recent years. The release of the first consumer hardware devices allows fully immersive and affordable VR for the user at home. This availability lead to a new focus of research on technical problems as well as psychological effects. The concepts of presence, describing the feeling of being in the virtual place, body ownership and their impact are central topics in research for a long time and still not fully understood.
To enable further research in the area of Mixed Reality, we want to introduce a framework that integrates the users body and surroundings inside a visual coherent virtual environment. As one of two main aspects we want to merge real and virtual objects to a shared environment in a way such that they are no longer visually distinguishable. To achieve this the main focus is not supposed to be on a high graphical fidelity but on a simplified representation of reality. The essential question is, what level of visual realism is necessary to create a believable mixed reality environment that induces a sense of presence in the user? The second aspect considers the integration of virtual persons. Can characters be recorded and replayed in a way such that they are perceived as believable entities of the world and therefore act as a part of the users environment?
The purpose of this thesis was the development of a framework called Mixed Reality Embodiment Platform. This inital system implements fundamental functionalities to be used as a basis for future extensions to the framework. We also provide a first application that enables user studies to evaluate the framework and contribute to aforementioned research questions.
Tracking ist ein zentraler Bestandteil vieler moderner technischer Anwendungen, insbesondere in den Bereichen autonome Systeme und Augmented Reality. Für Tracking gibt es viele unterschiedliche Ansätze. Ein erst seit kurzem verfolgter ist die Verwendung von Neuronalen Netzen. Im Rahmen dieser Masterarbeit wird eine eine Anwendung erstellt, welche für das Tracking ein Neuronales Netz verwendet. Dazu gehört ebenfalls die Erstellung von Trainingsdaten, sowie die Erstellung des Neuronalen Netzes und dessen Training.
Anschließend wird die Verwendung von Neuronalen Netzen für Tracking analysiert und ausgewertet. Hierunter fallen verschiedene Aspekte. Es wird für eine unterschiedliche Anzahl an Freiheitsgraden geprüft wie gut das Tracking funktioniert und wie viel Performance dieser Ansatz kostet. Des Weiteren wird die Menge der benötigten Trainingsdaten untersucht, der Einfluss der Architektur des Netzwerks und wie wichtig das Vorhandensein von Tiefendaten für die Funktion des Trackings ist. Dies soll einen Einblick ermöglichen wie relevant dieser Ansatz für den Einsatz in zukünftigen Produkten sein könnte.
Die Material Point Method (MPM) hat sich in der Computergrafik als äußerst fähige Simulationsmethode erwiesen, die in der Lage ist ansonsten schwierig zu animierende Materialien zu modellieren [1, 2]. Abgesehen von der Simulation einzelner Materialien stellt die Simulation mehrerer Materialien und ihrer Interaktion weitere Herausforderungen bereit. Dies ist Thema dieser Arbeit. Es wird gezeigt, dass die MPM durch die Fähigkeit Eigenkollisionen implizit handzuhaben ebenfalls in der Lage ist Kollisionen zwischen Objekten verschiedenster Materialien zu beschreiben, selbst, wenn verschiedene Materialmodelle eingesetzt werden. Dies wird dann um die Interaktion poröser Materialien wie in [3] erweitert, was ebenfalls gut mit der MPM integriert. Außerdem wird gezeigt das MPM auf Basis eines einzelnen Gitters als Untermenge dieses Mehrgitterverfahrens betrachtet werden kann, sodass man das gleiche Verhalten auch mit mehreren Gittern modellieren kann. Die poröse Interaktion wird auf beliebige Materialien erweitert, einschließlich eines frei formulierbaren Materialinteraktionsterms. Das Resultat ist ein flexibles, benutzersteuerbares Framework das unabhängig vom Materialmodell ist. Zusätzlich wird eine einfache GPU-Implementation der MPM vorgestellt, die die Rasterisierungspipeline benutzt um Schreibkonflikte aufzulösen. Anders als andere Implementationen wie [4] ist die vorgestellte Implementation kompatibel mit einer Breite an Hardware.
In recent years head mounted displays (HMD) and their abilities to create virtual realities comparable with the real world moved more into the focus of press coverage and consumers. The reason for this lies in constant improvements in available computing power, miniaturisation of components as well as the constantly shrinking power consumption. These trends originate in the general technical progress driven by advancements made in smartphone sector. This gives more people than ever access to the required components to create these virtual realities. However at the same time there is only limited research which uses the current generation of HMDs especially when comparing the virtual and real world against each other. The approach of this thesis is to look into the process of navigating both real and virtual spaces while using modern hardware and software. One of the key areas are the spatial and peripheral perception without which it would be difficult to navigate a given space. The influence of prior real and virtual experiences on these will be another key aspect. The final area of focus is the influence on the emotional state and how it compares to the real world. To research these influences a experiment using the Oculus Rift DK2 HMD will be held in which subjects will be guided through a real space as well as a virtual model of it. Data will be gather in a quantitative manner by using surveys. Finally, the findings will be discussed based on a statistical evaluation. During these tests the different perception of distances and room size will the compared and how they change based on the current reality. Furthermore, the influence of prior spatial activities both in the real and the virtual world will looked into. Lastly, it will be checked how real these virtual worlds are and if they are sufficiently sophisticated to trigger the same emotional responses as the real world.
Virtual Reality ist ein ein Bereich wachsenden Interesses, da es eine besonders intuitive Art der Benutzerinteraktion darstellt. Noch immer wird nach Lösungen zu technischen Problemstellungen gesucht, wie etwa der Latenz zwischen der Nutzereingabe und der Reaktion der Darstellung oder dem Kompromiss zwischen der visuellen Qualität und der erreichten Framerate. Dies gilt insbesondere für visuelle Effekte auf spekularen und halbtransparenten Oberflächen und in Volumen. Eine Lösung stellt das in dieser Arbeit vorgestellte verteilte Rendersystem dar, in dem die Bildsynthese in einen präzisen, aber kostenaufwändigen physikbasierten Renderthread mit niedriger Bildwiederholrate und einen schnellen Reprojektionsthread mit hoher Bildwiederholrate aufgeteilt wird, wodurch die Reaktionsgeschwindigkeit und Interaktivität erhalten bleiben. In diesem Zusammenhang werden zwei neue Reprojektionsverfahren vorgestellt, die einerseits Reflexionen und Refraktionen auf geraytracten Oberflächen und andererseits volumetrische Lichtausbreitung beim Raymarching abdecken. Das vorgestellte Setup kann in verschiedenen Gebieten zum Einsatz kommen um das VR Erlebnis zu verbessern. Im Zuge dieser Arbeit wurden drei innovative Trainingsanwendungen umgesetzt, um den Mehrwert von Virtual Reality im Bezug auf drei Stufen des Lernens zu untersuchen: Beobachtung, Interaktion und Zusammenarbeit. Für jede Stufe wurde ein interdisziplinäres Curriculum, das bislang mit traditionellen Medien unterrichtet wurde, in eine VR Umgebung übertragen, um zu untersuchen, wie gut sich virtuelle Realität als eine natürliche, flexible und effiziente Lernmethode eignet.