Filtern
Erscheinungsjahr
Dokumenttyp
- Bachelorarbeit (100)
- Diplomarbeit (81)
- Studienarbeit (76)
- Masterarbeit (46)
- Dissertation (18)
- Ausgabe (Heft) zu einer Zeitschrift (12)
- Konferenzveröffentlichung (3)
Sprache
- Deutsch (282)
- Englisch (52)
- Mehrsprachig (2)
Schlagworte
- Bildverarbeitung (16)
- Augmented Reality (13)
- Robotik (10)
- Computergrafik (9)
- Computergraphik (9)
- Computervisualistik (9)
- OpenGL (8)
- GPGPU (5)
- GPU (5)
- Line Space (5)
- Mustererkennung (5)
- Programmierung (5)
- Raytracing (5)
- Shader (5)
- Volumendaten (5)
- Android (4)
- Computerspiel (4)
- Graphik (4)
- Segmentierung (4)
- VOXEL (4)
- Volumen-Rendering (4)
- Analyse durch Synthese (3)
- C++ (3)
- Compute Shader (3)
- Computersimulation (3)
- Datenstruktur (3)
- Erweiterte Realität (3)
- Globale Beleuchtung (3)
- Grafikkarte (3)
- Informatik (3)
- Interaktion (3)
- Linespace (3)
- Markerloses Tracking (3)
- Modellbasiertes Tracking (3)
- Objektverfolgung (3)
- OpenGL Shading Language (3)
- Physiksimulation (3)
- Rendering (3)
- Software (3)
- Tracking (3)
- Virtual Reality (3)
- Virtuelle Realität (3)
- Visualisierung (3)
- virtual reality (3)
- 3D (2)
- Applikation (2)
- Augenbewegung (2)
- Automatische Klassifikation (2)
- Autonomes Robotersystem (2)
- Bild (2)
- Bildanalyse (2)
- Bildregistrierung (2)
- Computer (2)
- Computer Graphics (2)
- Computeranimation (2)
- Computertomografie (2)
- DTI (2)
- Datenschutz (2)
- Frau (2)
- GLSL (2)
- Gaze Tracker (2)
- Global Illumination (2)
- Grafikprozessor (2)
- Graphikprozessor (2)
- High dynamic Range (2)
- Immersion (2)
- Kalibrierung (2)
- Kamera (2)
- Laserscanner (2)
- Material Point Method (2)
- Mikroskopie (2)
- Navigation (2)
- Partikelsystem (2)
- Path Tracing (2)
- Point Rendering (2)
- Ray tracing (2)
- Realistische Computergrafik (2)
- Registrierung <Bildverarbeitung> (2)
- Rettungsroboter (2)
- Sand (2)
- Schatten (2)
- Schnee (2)
- Selbstlokalisation (2)
- Smartphone (2)
- Software Engineering (2)
- Spiel (2)
- Starrkörper (2)
- Stereosehen (2)
- Textur-Mapping (2)
- Tourismus (2)
- Transferfunktion (2)
- Transform Feedback (2)
- Volumen (2)
- Volumenrendering (2)
- Webcam (2)
- Whiteboard (2)
- Wiimote (2)
- Wiki (2)
- Zielverfolgung (2)
- image processing (2)
- interaktiv (2)
- tracking (2)
- volume rendering (2)
- 2-D (1)
- 2D/3D-Segmentierung (1)
- 3-D-Laserscannen (1)
- 3-D-Modell (1)
- 3-D-Modelle (1)
- 3-D-Scanning (1)
- 360 Grad (1)
- 360 degree (1)
- 3D Modell Referenz Bildsynthese (1)
- 3D Painting (1)
- 3D-Abbildungen (1)
- 3D-Color-Structure-Code (1)
- 3D-Darstellung (1)
- 3D-RETISEG (1)
- 3D-Scan (1)
- 3D-Vermessung (1)
- 3D-Videospiel (1)
- 3D-Visualisierung (1)
- AMIRE (1)
- AR (1)
- ARToolkit (1)
- ARToolkitPlus (1)
- Acceleration Structures (1)
- Action Recognition (1)
- Action Segmentation (1)
- Adaptive Abtastung (1)
- Adobe Flex (1)
- Algorithmus (1)
- Ambient Occlusion (1)
- Analyse-durch-Synthese (1)
- Android development (1)
- Androidentwicklung (1)
- Angiographiebilder (1)
- Animationsverfahren (1)
- Anzeige (1)
- App (1)
- Assembly (1)
- Astrophysik (1)
- Augenblick-SDK (1)
- Augmented Reality Szenario (1)
- Ausrichtungswerkzeug (1)
- Austausch (1)
- Auszeichnungssprache (1)
- Automatische Kontrolle im Produktionsprozess (1)
- Autonome Exploration (1)
- Autonome Robotik (1)
- Autonomous Exploration (1)
- Autorensystem (1)
- Avatar (1)
- Avatare (1)
- Axis Aligned Bounding Box (AABB) (1)
- BRDF (1)
- Balancetheorie (1)
- Beleuchtung (1)
- Beleuchtungsverfahren (1)
- Benutzerorientierung (1)
- Benutzerprofil (1)
- Benutzerschnittstelle (1)
- Beschleunigungsensor (1)
- Besuchersoftware (1)
- Bewegungsmodell (1)
- BildKlang (1)
- Bildanalyse-Verfahren (1)
- Bildaufloesung (1)
- Bildauflösung (1)
- Bilderkennung (1)
- Bildsegmentierung (1)
- Bildsensor (1)
- Bildverstehen (1)
- Billard (1)
- Blickpunktabhängig (1)
- Blinder Fleck (1)
- Bordinstrument (1)
- Bounding Volume Hierarchie (1)
- Bounding Volume Hierarchy (1)
- Breaking (1)
- Brechung (1)
- Bruchsimulation (1)
- Business Intelligence (1)
- CAD (1)
- CB2 (1)
- CSMs (1)
- CT-Datensätze (1)
- Cascada (1)
- Casual Game (1)
- Casual Games (1)
- Cg (1)
- Charakter-Objekt-Interaktion (1)
- Charakteranimation (1)
- Colonoscopy (1)
- Color Structure Code (1)
- ColorSym (1)
- Coloskopie (1)
- Communication System (1)
- Compute-Shader (1)
- Computer Vision (1)
- Computer assisted communication (1)
- Computer-aided diagnosis (1)
- Computerspiele (1)
- Computertomographie (1)
- Constitutive Model (1)
- CosiMail (1)
- Cybersickness (1)
- DCMTK (1)
- DICOM (1)
- DIN EN ISO 9241 (1)
- Darmpolyp (1)
- Darmspiegelung (1)
- Data compression (1)
- Datenanalyse (1)
- Datenbrille (1)
- Datenkompression (1)
- Datenschutzkompetenz (1)
- Datenschutzkompetenzmodell (1)
- Deep Learning (1)
- Deep Metric Learning (1)
- Designwerkzeug (1)
- Diagnoseunterstützung (1)
- Diagnosis assistance (1)
- Diffusionsbildgebung (1)
- Digital Storytelling (1)
- Digitale Bilder (1)
- Displacement Mapping (1)
- Display (1)
- Distanzfeld (1)
- Dreidimensionale Visualisierung (1)
- Dreidimensionales Modell (1)
- Dynamische Programmierung (1)
- E-Learning (1)
- E-Mail (1)
- ECSA (1)
- EEG (1)
- Echtzeit (1)
- Echtzeit Anwendung (1)
- Echtzeit Raytracing (1)
- Echtzeit-Raytracer "Augenblick" (1)
- Echtzeitanimationssystem (1)
- Echtzeitfähigkeit (1)
- Elektroencephalographie (1)
- Enhanced Reality (1)
- Entity Component System Architecture (1)
- Entwicklung (1)
- Erweiterte Realität <Informatik> (1)
- Eulerian grid (1)
- Evaluation (1)
- Explorationstransformation (1)
- Exporation Transform (1)
- Extended Reality (1)
- Extension (1)
- Eye-Tracking (1)
- Eyetracking (1)
- FPIC (1)
- Fabric Simulation (1)
- Facebook Application (1)
- Fachinformationssysteme (1)
- Farbbildverarbeitung (1)
- Farbenlehre (1)
- Farbsymmetrie (1)
- Farbtheorie (1)
- Fast Convolution (1)
- FastSLAM Algorithmus (1)
- Fedora (1)
- Fell (1)
- Fell Rendering (1)
- Fernsehtechnik (1)
- Feuer (1)
- Fiber Tracking (1)
- Fire (1)
- Flow-Erlebnis (1)
- Flugkörper (1)
- Fluid Simulation (1)
- Fluid dynamics (1)
- Fluiddynamik (1)
- Fluidsimulation (1)
- Foils <Programm> (1)
- Fourier (1)
- Fracturing (1)
- Fragmentshader (1)
- Framework (1)
- Frei Programmierbares Kombinationsinstrument (1)
- Fresnel (1)
- Funktionelle NMR-Tomographie (1)
- GPGPU-Programmierung (1)
- GPU - Raycasting (1)
- GPU Programmierung (1)
- GPU basiert (1)
- GPU-Programmierung (1)
- Gamebased (1)
- Gamebasiertheit (1)
- Gaze-Tracking (1)
- Gebrauchstauglichkeit (1)
- Gebäudemodelle (1)
- Gefäßanalyse (1)
- Gefühl (1)
- Gehirn (1)
- Geländemodell (1)
- Geodaten (1)
- Geometrie-Shader (1)
- Geometry (1)
- Geometry-Shader (1)
- Geometryshader (1)
- Gerstner (1)
- Geste (1)
- Gesteninterpretation (1)
- Gittererzeugung (1)
- Glaukom (1)
- Glint Center Estimation Algorithmus (1)
- Gonioreflectometer (1)
- Gradientenanalyse (1)
- Grafik (1)
- Grafikprogrammierung (1)
- Grails (1)
- Grails 1.2 (1)
- Graphicsprogramming (1)
- Graphik-Hardware (1)
- Graphikhardware (1)
- Graphpipes (1)
- Grundschule (1)
- HDR-Bild (1)
- HDR-Bilder (1)
- HDR-Kamera (1)
- Haare (1)
- Halbschatten (1)
- Haptik (1)
- Headerdaten Netzwerkpaket SOCK_RAW SOCK_PACKET (1)
- Heidelberg Retina Tomograph (1)
- Herausforderung (1)
- Herzerkrankungen (1)
- Hochgeschwindigkeitstracking (1)
- Hochpräzise Volumenmessung (1)
- HoloLens (1)
- Human motion (1)
- ICP-Algorithmus (1)
- IK-Algorithmus (1)
- IceCube (1)
- Image Processing (1)
- Image Understanding (1)
- Imitation Learning (1)
- Implizite Oberfläche (1)
- Indirekte Beleuchtung (1)
- Industrial-CT (1)
- Informatikunterricht (1)
- Information Retrieval (1)
- Information-Retrieval (1)
- Informationsvisualisierung (1)
- Innenarchitektur (1)
- Inpainting-Verfahren (1)
- Interaktionselemente (1)
- Interaktives Whiteboard (1)
- Inverse Kinematik (1)
- Inverses Modell (1)
- Iterative Closest Points (1)
- Iterative Dual Correspondences (1)
- J2ME (1)
- JGraph (1)
- Jump'n Run-Spiel (1)
- KD-Bäume und Binary-Space-Partitioning-Bäume (1)
- Kabel (1)
- Kalibrieren <Messtechnik> (1)
- Kamera Pose Tracking (1)
- Kartesisches Euler-Gitter (1)
- Kartesisches Gitter (1)
- Kartographie (1)
- Katadioptrisches Stereosystem (1)
- Kinect (1)
- Klassifikation (1)
- Klassifikationsframework (1)
- Kohärenzanalyse (1)
- Kollaboration (1)
- Kollisionserkennung (1)
- Koloskopie (1)
- Kontrastlose Oberflächen (1)
- Konturfindung (1)
- Landschaftsgestaltung (1)
- Landschaftsmodell (1)
- Leap-Motion (1)
- Lehrer (1)
- Leichte Sprache (1)
- Lernen (1)
- Lernspiel (1)
- Lichttransport (1)
- Light Injection (1)
- Linienkorrelationen (1)
- Lokale Bildmerkmale (1)
- Lokalisierung (1)
- MP3 Player (1)
- Machine Learning (1)
- Malen (1)
- Mammographie (1)
- Maschinelles Lernen (1)
- Matching-Verfahren (1)
- Matchingverfahren (1)
- Material point method (1)
- Materialmodell (1)
- Materie-Punkt-Methode (1)
- Matting (1)
- Maya (1)
- MeVisLab (1)
- Medizinische Bildverarbeitung (1)
- Medizinische Visualisierung (1)
- Medizintechnik (1)
- Mensch-Maschine-Schnittstelle (1)
- Merkmalsbewertung (1)
- Merkmalsdetektion (1)
- Merkmalsmanagement (1)
- Merkmalssynthese (1)
- Metric based Icp (1)
- Mikroskopische Objekte (1)
- Mind Maps (1)
- Mitral Valve (1)
- Mitralklappe (1)
- Mixed Reality (1)
- Mobile Kommunikation (1)
- Mobile Roboter (1)
- Mobile Robots (1)
- Mobiler Roboter (1)
- Mobiles Informatinssystem (1)
- Modellieren (1)
- Modellierung (1)
- Modellierungstool (1)
- Modulare Softwarearchitektur (1)
- Modulares Softwaresystem (1)
- Montage (1)
- Motion Capturing (1)
- Motion Sickness (1)
- Motivation (1)
- Multidimensional (1)
- Multimodal Action Recognition (1)
- Multimodal Medical Image Analysis Cochlea Spine Non-rigid Registration Segmentation ITK VTK 3D Slicer CT MRI CBCT (1)
- Multiple Object Tracking (1)
- Multivariate Datenanalyse (1)
- Musik (1)
- Musteranalyse (1)
- Myokard (1)
- N-Body Simulation (1)
- N-Körper Simulation (1)
- NURBS (1)
- Natural Image Matting (1)
- Navier"Stokes equations (1)
- Navier-Stokes-Gleichungen (1)
- Networked Graphs (1)
- Netzhaut (1)
- Netzwerkmanagement (1)
- Netzwerkmonitoring (1)
- Netzwerkschicht (1)
- Netzwerktechnik (1)
- Neutino (1)
- Nicht-photorealistisches Rendering (1)
- Nintendo DS (1)
- Nintendo Wii Fernbedienung (1)
- Nvidia CUDA (1)
- OGRE (1)
- Oberflächenentwurf (1)
- Oberflächengestaltung (1)
- Oberflächenorientierung (1)
- Oberflächenstruktur (1)
- Objektentfernung (1)
- Objekterkennung (1)
- Octree Textur (1)
- Oktalbaum (1)
- Oktonärbäume (1)
- One-Shot Action Recognition (1)
- Open Source 3D Graphics Engine (1)
- OpenCL (1)
- Optische Messtechnik (1)
- Optisches Mikroskop (1)
- Ornamentik (1)
- Ornamentklassifikation (1)
- PACS- Picture Archiving (1)
- PBRT (1)
- Packet Header SOCK_RAW SOCK_PACKET (1)
- Par (1)
- Partikel (1)
- Partikelsimulation (1)
- Path transformation (1)
- Pathtracing (1)
- Pattern Recognition (1)
- Personentracking (1)
- Personenverfolgungssystem (1)
- Pfadplanung (1)
- Pfadtransformation (1)
- Phantom Omni (1)
- Photogrammetrie Kalibrierung EMVA-1288 (1)
- Photogrammetry (1)
- Physik (1)
- Physikengine (1)
- Planspiegel-System (1)
- Planspiel 2.0 (1)
- Pollenanalyse (1)
- Polypendetektion (1)
- Pose (1)
- Posebestimmung (1)
- Poseschätzung (1)
- Position Based Dynamics (1)
- Positionsbestimmung (1)
- Potenzialfeld (1)
- Pre-Integration (1)
- Primus (1)
- Privacy Competence Model (1)
- Programm (1)
- Präsentation (1)
- Punktkorrelationen (1)
- Punktrendering (1)
- Pupil Center Estimation Algorithmus (1)
- Qt/C++ (1)
- Qualitätssicherung (1)
- RIP-MTI (1)
- RIP-XT (1)
- RMTI (1)
- Radiales System (1)
- Radiosity (1)
- Random Finite Sets (1)
- Raumplanung (1)
- Ray Tracer (1)
- Ray Tracing (1)
- Ray casting (1)
- Ray-Casting (1)
- Real-time computing (1)
- Realistisches Kameramodell (1)
- Reengineering (1)
- Reflections (1)
- Reflektionen (1)
- Reflexion (1)
- Relativitätstheorie (1)
- Rescue League (1)
- Rescue Robots (1)
- Retinex-Algorithmus (1)
- Reverberation (1)
- Rich Internet Application (1)
- Riss (1)
- Rissmusteranalyse (1)
- RoboCup (1)
- RoboCup Rescue (1)
- Roboter (1)
- Robotersystem (1)
- Robust Principal Component Analysis (1)
- Routing (1)
- SIFT-Algorithmus (1)
- SIFT-Merkmale (1)
- SIFT-Verfahren (1)
- SIMD (1)
- SPARQL (1)
- STOR (1)
- SURF-Algorithmus (1)
- Scanmatching (1)
- Schlauch (1)
- Schnelle Faltung (1)
- Segmentation (1)
- Semantic Desktop (1)
- Semantic Web (1)
- Semantik (1)
- Sensor (1)
- Sensorensteuerung (1)
- Separating-Axis-Theorem (1)
- Shaderframework (1)
- Shaderhochsprache (1)
- Shaderprogramm (1)
- Shattering (1)
- Simulation (1)
- Skript (1)
- Skript <Programm> (1)
- Social Games (1)
- Socket (1)
- Socket-Schnittstelle (1)
- Software- Ergonomie (1)
- Spaß (1)
- Specular (1)
- Spektrale Bildgewinnung (1)
- Spielkonsole (1)
- Sprachverarbeitung (1)
- Sprechtherapie (1)
- Stadt (1)
- Stadtmodelle (1)
- Standortbestimmung (1)
- Statistical Shape Model (1)
- Stereobildfolgen (1)
- Stereografie (1)
- Stereoskopie (1)
- Sterne (1)
- Steuerung (1)
- Stilisierung (1)
- Stoffsimulation (1)
- Subsurface Scattering (1)
- Szeneneditor (1)
- Tageslichtprojektor (1)
- Tanzspiel (1)
- Text (1)
- Texterkennung (1)
- Textur (1)
- Texturierung (1)
- Thunderbird <Programm> (1)
- Tiefenbild (1)
- Tiefenkarte (1)
- Ton (1)
- Tone Mapping (1)
- Tone-Mapping (1)
- Tone-Mapping-Verfahren (1)
- Tonemapping (1)
- Tonemapping-Verfahren (1)
- Touchscreen (1)
- Tourism (1)
- Tracking-System (1)
- Trackingsystem (1)
- Transfer function (1)
- Transferfunction (1)
- Transportschicht (1)
- Triangulierung (1)
- USARSim (1)
- Ultraschall (1)
- Ultrasound (1)
- Umgebungslicht (1)
- Ungarische Methode (1)
- Uniforme Raumunterteilung (1)
- Unterricht (1)
- Unterwasser-Pipeline (1)
- Unterwasserfahrzeug (1)
- Unterwasserkabel (1)
- User Interface (1)
- VIACOBI (1)
- VR (1)
- VST (1)
- Vascular analysis (1)
- Verbindungsschicht (1)
- Vertex Buffer Object (1)
- Vertex Buffer Objekt (1)
- Video (1)
- Video-Installation (1)
- Videospielentwicklung (1)
- Virtual characters (1)
- Virtuelle Menschen (1)
- Visualisierungstechniken (1)
- Visuelle Installation (1)
- Visuelle Odometrie (1)
- Vocabulary Trainer (1)
- Volume Hatching (1)
- Volume Rendering (1)
- Volumenvisualisierung (1)
- Vorliebe (1)
- Vorwärtsmodell (1)
- Voxel (1)
- Voxelisierung (1)
- Wasseroberfläche (1)
- Wavelet (1)
- Weibliches Publikum (1)
- Weiterentwicklung (1)
- Wellen (1)
- Wiederhall (1)
- Wii-Balance Board (1)
- Wolkensimulation (1)
- X-Cosim (1)
- XML (1)
- XTpeer (1)
- Zerbrechen (1)
- accelerometer (1)
- android (1)
- area light (1)
- augmented reality (1)
- color image processing (1)
- computer games (1)
- depth map (1)
- directed acyclic graphs (1)
- disparity map (1)
- dreidimensionale Computergraphik (1)
- dynamic programming (1)
- engine (1)
- finite state automata (1)
- flow (1)
- fur rendering (1)
- game (1)
- general purpose (1)
- geometry shader (1)
- graphics card (1)
- hybride App (1)
- image warping (1)
- indirect lighting (1)
- indirektes Licht (1)
- interactive (1)
- interactive application (1)
- interaktive Applikation (1)
- interaktiven (1)
- jump'n run game (1)
- leap motion (1)
- line space (1)
- machine learning (1)
- markerless tracking (1)
- media competence model (1)
- medizinische Bilddaten (1)
- menschliches Auge (1)
- multidimensional (1)
- multidimensional transfer function (1)
- multidimensionale Transferfunktion (1)
- natural language generation (1)
- natural language processing (1)
- natürliche Sprache (1)
- octree texture (1)
- path planning (1)
- performance optimization (1)
- physics (1)
- physics simulation (1)
- plain language (1)
- polyp detection (1)
- privacy and personal data (1)
- privacy competence model (1)
- projektives Malen (1)
- prozedural (1)
- ray casting (1)
- ray tracing (1)
- raycasting (1)
- raytracing (1)
- reflection (1)
- refraction (1)
- regular dag languages (1)
- relativity (1)
- rigid body (1)
- risk (1)
- robotics (1)
- rtx (1)
- scaffolded writing (1)
- scene analysis (1)
- security awareness (1)
- sensor control (1)
- shader (1)
- snow (1)
- soft shadow (1)
- stereo vision (1)
- stereoscopic rendering (1)
- syntaktische Analyse (1)
- texturing (1)
- transform feedback (1)
- virtual human (1)
- visualization (1)
- volume visualization (1)
- volumenrendering (1)
- voxelization (1)
- vulkan (1)
- warp divergence (1)
- water surface (1)
- waves (1)
Institut
- Institut für Computervisualistik (336) (entfernen)
On the recognition of human activities and the evaluation of its imitation by robotic systems
(2023)
This thesis addresses the problem of action recognition through the analysis of human motion and the benchmarking of its imitation by robotic systems.
For our action recognition related approaches, we focus on presenting approaches that generalize well across different sensor modalities. We transform multivariate signal streams from various sensors to a common image representation. The action recognition problem on sequential multivariate signal streams can then be reduced to an image classification task for which we utilize recent advances in machine learning. We demonstrate the broad applicability of our approaches formulated as a supervised classification task for action recognition, a semi-supervised classification task for one-shot action recognition, modality fusion and temporal action segmentation.
For action classification, we use an EfficientNet Convolutional Neural Network (CNN) model to classify the image representations of various data modalities. Further, we present approaches for filtering and the fusion of various modalities on a representation level. We extend the approach to be applicable for semi-supervised classification and train a metric-learning model that encodes action similarity. During training, the encoder optimizes the distances in embedding space for self-, positive- and negative-pair similarities. The resulting encoder allows estimating action similarity by calculating distances in embedding space. At training time, no action classes from the test set are used.
Graph Convolutional Network (GCN) generalized the concept of CNNs to non-Euclidean data structures and showed great success for action recognition directly operating on spatio-temporal sequences like skeleton sequences. GCNs have recently shown state-of-the-art performance for skeleton-based action recognition but are currently widely neglected as the foundation for the fusion of various sensor modalities. We propose incorporating additional modalities, like inertial measurements or RGB features, into a skeleton-graph, by proposing fusion on two different dimensionality levels. On a channel dimension, modalities are fused by introducing additional node attributes. On a spatial dimension, additional nodes are incorporated into the skeleton-graph.
Transformer models showed excellent performance in the analysis of sequential data. We formulate the temporal action segmentation task as an object detection task and use a detection transformer model on our proposed motion image representations. Experiments for our action recognition related approaches are executed on large-scale publicly available datasets. Our approaches for action recognition for various modalities, action recognition by fusion of various modalities, and one-shot action recognition demonstrate state-of-the-art results on some datasets.
Finally, we present a hybrid imitation learning benchmark. The benchmark consists of a dataset, metrics, and a simulator integration. The dataset contains RGB-D image sequences of humans performing movements and executing manipulation tasks, as well as the corresponding ground truth. The RGB-D camera is calibrated against a motion-capturing system, and the resulting sequences serve as input for imitation learning approaches. The resulting policy is then executed in the simulated environment on different robots. We propose two metrics to assess the quality of the imitation. The trajectory metric gives insights into how close the execution was to the demonstration. The effect metric describes how close the final state was reached according to the demonstration. The Simitate benchmark can improve the comparability of imitation learning approaches.
Leichte Sprache (LS) ist eine vereinfachte Varietät des Deutschen in der barrierefreie Texte für ein breites Spektrum von Menschen, einschließlich gering literalisierten Personen mit Lernschwierigkeiten, geistigen oder entwicklungsbedingten Behinderungen (IDD) und/oder komplexen Kommunikationsbedürfnissen (CCN), bereitgestellt werden. LS-Autor*innen sind i.d.R. der deutschen Standardsprache mächtig und gehören nicht der genannten Personengruppe an. Unser Ziel ist es, diese zu befähigen, selbst am schriftlichen Diskurs teilzunehmen. Hierfür bedarf es eines speziellen Schreibsystems, dessen linguistische Unterstützung und softwareergonomische Gestaltung den spezifischen Bedürfnissen der Zielgruppe gerecht wird. EasyTalk ist ein System basierend auf computerlinguistischer Verarbeitung natürlicher Sprache (NLP) für assistives Schreiben in einer erweiterten Variante von LS (ELS). Es stellt den Nutzenden ein personalisierbares Vokabular mit individualisierbaren Kommunikationssymbolen zur Verfügung und unterstützt sie entsprechend ihres persönlichen Fähigkeitslevels durch interaktive Benutzerführung beim Schreiben. Intuitive Formulierungen für linguistische Entscheidungen minimieren das erforderliche grammatikalische Wissen für die Erstellung korrekter und kohärenter komplexer Inhalte. Einfache Dialoge kommunizieren mit einem natürlichsprachlichen Paraphrasengenerator, der kontextsensitiv Vorschläge für Satzkomponenten und korrekt flektierte Wortformen bereitstellt. Außerdem regt EasyTalk die Nutzer*innen an, Textelemente hinzuzufügen, welche die Verständlichkeit des Textes für dessen Leserschaft fördern (z.B. Zeit- und Ortsangaben) und die Textkohärenz verbessern (z.B. explizite Diskurskonnektoren). Um das System auf die Bedürfnisse der Zielgruppe zuzuschneiden, folgte die Entwicklung von EasyTalk den Grundsätzen der menschzentrierten Gestaltung (UCD). Entsprechend wurde das System in iterativen Entwicklungszyklen ausgereift, kombiniert mit gezielten Evaluierungen bestimmter Aspekte durch Gruppen von Expert*innen aus den Bereichen CCN, LS und IT sowie L2-Lernende der deutschen Sprache. Eine Fallstudie, in welcher Mitglieder der Zielgruppe das freie Schreiben mit dem System testeten, bestätigte, dass Erwachsene mit geringen Lese-, Schreib- und Computerfähigkeiten mit IDD und/oder CCN mit EasyTalk eigene persönliche Texte in ELS verfassen können. Das positive Feedback aller Tests inspiriert Langzeitstudien mit EasyTalk und die Weiterentwicklung des prototypischen Systems, wie z.B. die Implementierung einer s.g. Schreibwerkstatt.
Künstliche neuronale Netze sind ein beliebtes Forschungsgebiet der künst-
lichen Intelligenz. Die zunehmende Größe und Komplexität der riesigen
Modelle bringt gewisse Probleme mit sich. Die mangelnde Transparenz
der inneren Abläufe eines neuronalen Netzes macht es schwierig, effiziente
Architekturen für verschiedene Aufgaben auszuwählen. Es erweist sich als
herausfordernd, diese Probleme zu lösen. Mit einem Mangel an aufschluss-
reichen Darstellungen neuronaler Netze verfestigt sich dieser Zustand. Vor
dem Hintergrund dieser Schwierigkeiten wird eine neuartige Visualisie-
rungstechnik in 3D vorgestellt. Eigenschaften für trainierte neuronale Net-
ze werden unter Verwendung etablierter Methoden aus dem Bereich der
Optimierung neuronaler Netze berechnet. Die Batch-Normalisierung wird
mit Fine-tuning und Feature Extraction verwendet, um den Einfluss der Be-
standteile eines neuronalen Netzes abzuschätzen. Eine Kombination dieser
Einflussgrößen mit verschiedenen Methoden wie Edge-bundling, Raytra-
cing, 3D-Impostor und einer speziellen Transparenztechnik führt zu einem
3D-Modell, das ein neuronales Netz darstellt. Die Validität der ermittelten
Einflusswerte wird demonstriert und das Potential der entwickelten Visua-
lisierung untersucht.
Diese Bachelorarbeit erforscht eine Methode zur 3D-Objekterkennung und Posenschätzung, basierend auf dem Punkte-Paare-Eigenschaften-Verfahren (PPE) von Drost et. al. [Dro+10]. Die Methoden der Posenschätzung haben sich in den letzten Jahre zwar deutlich verbessert, stellen jedoch weiterhin ein zentrales Problem im Bereich der Computervisualistik dar. Im Rahmen dieser Arbeit wurde ein Programm implementiert, welches Punktewolkenszenen als Ausgangspunkt erhält und daraus eine Objekterkennung und Posenschätzung durchführt. Das Programm deckt alle Schritte eines Objekterkennungsprogramm ab, indem es 3D-Modelle von Objekten verarbeitet, um deren PPE zu extrahieren. Diese Eigenschaften werden gruppiert und in einer Tabelle gespeichert. Anhand des Auswahlverfahrens, bei dem die Übereinstimmung der Eigenschaften überprüft wird, können potenzielle Posen des Objekts ermittelt werden. Die Posen mit der größten Übereinstimmung werden miteinander verglichen, um ähnliche Posen zu gruppieren. Die Gruppen mit der höchsten Übereinstimmung werden erneut überprüft, sodass am Ende nur eine Pose ausgewählt wird. Das Programm wurde anhand von Real– und Simulationsdaten Daten getestet. Die erhaltenen Ergebnisse wurden anschließend analysiert und evaluiert.
Soziale Netzwerke spielen im Alltagsleben der Schülerinnen und Schüler eine entscheidende Rolle. Im Rahmen der vorliegenden Masterarbeit wurde ein Konzept für die Anzeige von Profilvorschlägen innerhalb des sozialen Netzwerks „InstaHub“, welches ein speziell für den Informatikunterricht programmiertes Werkzeug zum Thema „Datenbanken“ darstellt, entwickelt. Als Hürde stellte sich dabei dar, dass von den etablierten sozialen Netzwerken nur wenig bis gar keine Informationen über die Berechnung von Profil- oder Freundschaftsvorschlägen preisgegeben werden. Daher wurde zunächst das Wesen von Beziehungen zwischen Menschen in nicht-internetbasierten und in internetbasierten sozialen Netzwerken sowie die Gründe für Beziehungen zwischen Menschen in diesen Netzwerken dargelegt. Anhand der Beobachtung von Vorschlägen in anderen sozialen Netzwerken sowie der in InstaHub gespeicherten Nutzerdaten wurde ein Algorithmus für Profilvorschläge in InstaHub entworfen und mitsamt einer passenden Visualisierung entsprechend implementiert. Den zweiten Teil der Arbeit bildete eine Unterrichtseinheit für die Sekundarstufe II mit dem Thema Gefahren der Erzeugung und Verarbeitung von personenbezogenen Daten. In der Unterrichtseinheit dienen die Profilvorschläge in InstaHub, die auf von InstaHub über dessen Nutzer gesammelten Daten aufbauen, als Einstieg in die Thematik. Anschließend wird der Fokus von sozialen Netzwerken auf andere Online-Dienste erweitert und auf die Verarbeitung und Weitergabe dieser Daten eingegangen.
In dieser Arbeit wird die Geschwindigkeit des Simulationscodes zur Pho-
tonenausbreitung beim IceCube-Projekt (clsim) optimiert. Der Prozess der
GPU-Code-Analyse und Leistungsoptimierung wird im Detail beschrie-
ben. Wenn beide Codes auf der gleichen Hardware ausgeführt werden,
wird ein Speedup von etwa 3x gegenüber der ursprünglichen Implemen-
tierung erreicht. Vergleicht man den unveränderten Code auf der derzeit
von IceCube verwendeten Hardware (NVIDIA GTX 1080) mit der opti-
mierten Version, die auf einer aktuellen GPU (NVIDIA A100) läuft, wird
ein Speedup von etwa 9,23x beobachtet. Alle Änderungen am Code wer-
den vorgestellt und deren Auswirkung auf die Laufzeit und Genauigkeit
der Simulation diskutiert.
Der für die Optimierung verfolgte Weg wird dann in einem Schema
verallgemeinert. Programmierer können es als Leitfaden nutzen, um große
und komplexe GPU-Programme zu optimieren. Darüber hinaus wird die
per warp job-queue, ein Entwurfsmuster für das load balancing innerhalb
eines CUDA-Thread-Blocks, im Detail besprochen.
Der Wettbewerb um die besten Technologien zur Realisierung des autonomen Fahrens ist weltweit in vollem Gange.
Trotz großer Anstrengungen ist jedoch die autonome Navigation in strukturierter und vor allem unstrukturierter Umgebung bisher nicht gelöst.
Ein entscheidender Baustein in diesem Themenkomplex ist die Umgebungswahrnehmung und Analyse durch passende Sensorik und entsprechende Sensordatenauswertung.
Insbesondere bildgebende Verfahren im Bereich des für den Menschen sichtbaren Spektrums finden sowohl in der Praxis als auch in der Forschung breite Anwendung.
Dadurch wird jedoch nur ein Bruchteil des elektromagnetischen Spektrums genutzt und folglich ein großer Teil der verfügbaren Informationen zur Umgebungswahrnehmung ignoriert.
Um das vorhandene Spektrum besser zu nutzen, werden in anderen Forschungsbereichen schon seit Jahrzehnten \sog spektrale Sensoren eingesetzt, welche das elektromagnetische Spektrum wesentlich feiner und in einem größeren Bereich im Vergleich zu klassischen Farbkameras analysieren. Jedoch können diese Systeme aufgrund technischer Limitationen nur statische Szenen aufnehmen. Neueste Entwicklungen der Sensortechnik ermöglichen nun dank der \sog Snapshot-Mosaik-Filter-Technik die spektrale Abtastung dynamischer Szenen.
In dieser Dissertation wird der Einsatz und die Eignung der Snapshot-Mosaik-Technik zur Umgebungswahrnehmung und Szenenanalyse im Bereich der autonomen Navigation in strukturierten und unstrukturierten Umgebungen untersucht. Dazu wird erforscht, ob die aufgenommen spektralen Daten einen Vorteil gegenüber klassischen RGB- \bzw Grauwertdaten hinsichtlich der semantischen Szenenanalyse und Klassifikation bieten.
Zunächst wird eine geeignete Vorverarbeitung entwickelt, welche aus den Rohdaten der Sensorik spektrale Werte berechnet. Anschließend wird der Aufbau von neuartigen Datensätzen mit spektralen Daten erläutert. Diese Datensätze dienen als Basis zur Evaluation von verschiedenen Klassifikatoren aus dem Bereich des klassischen maschinellen Lernens.
Darauf aufbauend werden Methoden und Architekturen aus dem Bereich des Deep-Learnings vorgestellt. Anhand ausgewählter Architekturen wird untersucht, ob diese auch mit spektralen Daten trainiert werden können. Weiterhin wird die Verwendung von Deep-Learning-Methoden zur Datenkompression thematisiert. In einem nächsten Schritt werden die komprimierten Daten genutzt, um damit Netzarchitekturen zu trainieren, welche bisher nur mit RGB-Daten kompatibel sind. Abschließend wird analysiert, ob die hochdimensionalen spektralen Daten bei der Szenenanalyse Vorteile gegenüber RGB-Daten bieten
Typischerweise erweitern Augmented Reality (AR)-Anwendungen die Sicht des Benutzers auf die reale Welt um virtuelle Objekte.
In den letzten Jahren hat AR zunehmend an Popularität und Aufmerksamkeit gewonnen. Dies hat zu Verbesserungen der benötigten Technologien geführt. AR ist dadurch für fast jeden zugänglich geworden.
Forscher sind dem Ziel einer glaubwürdigen AR, in der reale und virtuelle Welten nahtlos miteinander verbunden sind, einen großen Schritt näher gekommen. Sie konzentrieren sich hauptsächlich auf Themen wie Tracking, Anzeige-Technologien und Benutzerinteraktion und schenken der visuellen und physischen Kohärenz bei der Kombination realer und virtueller Objekte wenig Aufmerksamkeit. Beispielsweise sollen virtuelle Objekte nicht nur auf die Eingaben des Benutzers reagieren, sondern auch mit realen Objekten interagieren. Generell wird AR glaubwürdiger und realistischer, wenn virtuelle Objekte fixiert oder verankert in der realen Szene erscheinen, sich nicht von der realen Szene unterscheiden und auf Veränderungen dieser Szene reagieren.
Diese Arbeit untersucht drei Herausforderungen im Bereich Maschinelles Sehen um dem Ziel einer glaubwürdig kombinierten Welt näher zu kommen, in der virtuelle Objekte wie reale erscheinen und sich ebenso verhalten.
Diese Dissertation konzentriert sich als erstes auf das bekannte Tracking- und Registrierungsproblem. Hierzu wird die Herausforderung von Tracking und Registrierung diskutiert und ein Ansatz vorgestellt, um die Position und den Blickpunkt des Benutzers zu schätzen, so dass virtuelle Objekte in der realen Welt fest verankert erscheinen. Linienmodelle, die dem Erscheinungsbild entsprechen und nur für Trackingzwecke relevante Kanten beinhalten, ermöglichen eine absolute Registrierung in der realen Welt und ein robustes Tracking. Einerseits ist es nicht notwendig, viel Zeit in die manuelle Erstellung geeigneter Modelle zu investieren, andererseits ist das Tracking in der Lage mit Änderungen innerhalb des zu verfolgenden Objekts oder Szene umzugehen. Versuche haben gezeigt, dass die Verwendung von solchen Linienmodellen die Robustheit, Genauigkeit und Re-initialisierungsgeschwindigkeit des Tracking-Prozesses verbessert haben.
Zweitens beschäftigt sich diese Dissertation mit dem Thema der Oberflächenrekonstruk\-tion einer realen Umgebung und präsentiert einen Algorithmus zur Optimierung einer laufenden Oberflächenrekonstruktion. Vollständige 3D-Oberflächenrekonstruktionen einer Szene
eröffnen neue Möglichkeiten um realistischere AR-Anwendungen zu erstellen. Verschiedene Interaktionen zwischen realen und virtuellen Objekten, wie Kollisionen und Verdeckungen, können physikalisch korrekt behandelt werden. Während sich die bisherigen Methoden darauf konzentrierten die Oberflächenrekonstruktionen nach einem Aufnahmeschritt zu verbessern, wird die Rekonstruktion während der Aufnahme erweitert, Löcher werden geschlossen und Rauschen wird reduziert. Um eine unbekannte Umgebung zu erkunden muss der Benutzer keine Vorbereitungen treffen. Das Scannen der Szene oder eine vorhergehende Auseinandersetzung mit der zugrundeliegenden Technologie ist somit nicht notwendig.
In Experimenten lieferte der Ansatz realistische Ergebnisse, bei denen bekannte Oberflächen für verschiedene Oberflächentypen erweitert und Löcher plausibel gefüllt wurden.
Anschließend konzentriert sich diese Dissertation auf die Behandlung von realistischen Verdeckungen zwischen realer und virtueller Welt. Hierzu wird die Herausforderung der Verdeckung als Alpha Matting Problem formuliert. Die vorgestellte Methode überwindet die Grenzen moderner Methoden, indem ein Überblendungskoeffizienten pro Pixel der gerenderten virtuellen Szene schätzt wird, anstatt nur deren Sichtbarkeit zu berechnen. In mehreren Experimenten und Vergleichen mit anderen Methoden hat sich die Verdeckungsbehandlung durch Alpha Matting als robust erwiesen und kann mit Daten, die durch preiswerte Sensoren aufgenommen wurden, umgehen. Hinsichtlich der Qualität, des Realismus und der praktischen Anwendbarkeit übertrifft die Methode die Ergebnisse von bisherigen Ansätzen.
Des Weiteren kann die Methode mit verrauschten Tiefendaten umgehen und liefert realistische Ergebnisse in Regionen, in denen Vorder- und Hintergrund nicht strikt voneinander trennbar sind (z.B. bei Objekten mit einer undeutlichen Kontur oder durch Bewegungsunschärfe).
Efficient Cochlear Implant (CI) surgery requires prior knowledge of the cochlea’s size and its characteristics. This information helps to select suitable implants for different patients. Registered and fused images helps doctors by providing more informative image that takes advantages of different modalities. The cochlea’s small size and complex structure, in addition to the different resolutions and head positions during imaging, reveals a big challenge for the automated registration of the different image modalities. To obtain an automatic measurement of the cochlea length and the volume size, a segmentation method of cochlea medical images is needed. The goal of this dissertation is to introduce new practical and automatic algorithms for the human cochlea multi-modal 3D image registration, fusion, segmentation and analysis. Two novel methods for automatic cochlea image registration (ACIR) and automatic cochlea analysis (ACA) are introduced. The proposed methods crop the input images to the cochlea part and then align the cropped images to obtain the optimal transformation. After that, this transformation is used to align the original images. ACIR and ACA use Mattes mutual information as similarity metric, the adaptive stochastic gradient descent (ASGD) or the stochastic limited memory Broyden–Fletcher–Goldfarb–Shanno (s-LBFGS) optimizer to estimate the parameters of 3D rigid transform. The second stage of nonrigid registration estimates B-spline coefficients that are used in an atlas-model-based segmentation to extract cochlea scalae and the relative measurements of the input image. The image which has segmentation is aligned to the input image to obtain the non-rigid transformation. After that the segmentation of the first image, in addition to point-models are transformed to the input image. The detailed transformed segmentation provides the scala volume size. Using the transformed point-models, the A-value, the central scala lengths, the lateral and the organ of corti scala tympani lengths are computed. The methods have been tested using clinical 3D images of total 67 patients: from Germany (41 patients) and Egypt (26 patients). The atients are of different ages and gender. The number of images used in the experiments is 217, which are multi-modal 3D clinical images from CT, CBCT, and MRI scanners. The proposed methods are compared to the state of the arts ptimizers related medical image registration methods e.g. fast adaptive stochastic gradient descent (FASGD) and efficient preconditioned tochastic gradient descent (EPSGD). The comparison used the root mean squared distance (RMSE) between the ground truth landmarks and the resulted landmarks. The landmarks are located manually by two experts to represent the round window and the top of the cochlea. After obtaining the transformation using ACIR, the landmarks of the moving image are transformed using the resulted transformation and RMSE of the transformed landmarks, and at the same time the fixed image landmarks are computed. I also used the active length of the cochlea implant electrodes to compute the error aroused by the image artifact, and I found out an error ranged from 0.5 mm to 1.12 mm. ACIR method’s RMSE average was 0.36 mm with a standard deviation (SD) of 0.17 mm. The total time average required for registration of an image pair using ACIR was 4.62 seconds with SD of 1.19 seconds. All experiments are repeated 3 times for justifications. Comparing the RMSE of ACIR2017 and ACIR2020 using paired T-test shows no significant difference (p-value = 0.17). The total RMSE average of ACA method was 0.61 mm with a SD of 0.22 mm. The total time average required for analysing an image was 5.21 seconds with SD of 0.93 seconds. The statistical tests show that there is no difference between the results from automatic A-value method and the manual A-value method (p-value = 0.42). There is no difference also between length’s measurements of the left and the right ear sides (p-value > 0.16). Comparing the results from German and Egypt dataset shows there is no difference when using manual or automatic A-value methods (p-value > 0.20). However, there is a significant difference when using ACA2000 method between the German and the Egyptian results (p-value < 0.001). The average time to obtain the segmentation and all measurements was 5.21 second per image. The cochlea scala tympani volume size ranged from 38.98 mm3 to 57.67 mm3 . The combined scala media and scala vestibuli volume size ranged from 34.98 mm 3 to 49.3 mm 3 . The overall volume size of the cochlea should range from 73.96 mm 3 to 106.97 mm 3 . The lateral wall length of scala tympani ranged from 42.93 mm to 47.19 mm. The organ-of-Corti length of scala tympani ranged from 31.11 mm to 34.08 mm. Using the A-value method, the lateral length of scala tympani ranged from 36.69 mm to 45.91 mm. The organ-of-Corti length of scala tympani ranged from 29.12 mm to 39.05 mm. The length from ACA2020 method can be visualised and has a well-defined endpoints. The ACA2020 method works on different modalities and different images despite the noise level or the resolution. In the other hand, the A-value method works neither on MRI nor noisy images. Hence, ACA2020 method may provide more reliable and accurate measurement than the A-value method. The source-code and the datasets are made publicly available to help reproduction and validation of my result.
Die Raytracing-Beschleunigung durch dedizierte Datenstrukturen ist schon lange ein wichtiges Thema der Computergrafik. Im Allgemeinen werden dafür zwei unterschiedliche Ansätze vorgeschlagen: räumliche und richtungsbezogene Beschleunigungsstrukturen. Die vorliegende Arbeit stellt einen innovativen kombinierten Ansatz dieser beiden Bereiche vor, welcher weitere Beschleunigung der Strahlenverfolgung ermöglicht. Dazu werden moderne räumliche Datenstrukturen als Basisstrukturen verwendet und um vorberechnete gerichtete Sichtbarkeitsinformationen auf Basis von Schächten innerhalb einer originellen Struktur, dem Line Space, ergänzt.
Im Laufe der Arbeit werden neuartige Ansätze für die vorberechneten Sichtbarkeitsinformationen vorgeschlagen: ein binärer Wert, der angibt, ob ein Schacht leer oder gefüllt ist, sowie ein einzelner Vertreter, der als repräsentativer Kandidat die tatsächliche Oberfläche approximiert. Es wird gezeigt, wie der binäre Wert nachweislich in einer einfachen, aber effektiven Leerraumüberspringungs-Technik (Empty Space Skipping) genutzt wird, welche unabhängig von der tatsächlich verwendeten räumlichen Basisdatenstruktur einen Leistungsgewinn beim Raytracing von bis zu 40% ermöglicht. Darüber hinaus wird gezeigt, dass diese binären Sichtbarkeitsinformationen eine schnelle Technik zur Berechnung von weichen Schatten und Umgebungsverdeckung auf der Grundlage von Blockerapproximationen ergeben. Obwohl die Ergebnisse einen gewissen Ungenauigkeitsfehler enthalten, welcher auch dargestellt und diskutiert wird, zeigt sich, dass eine weitere Traversierungsbeschleunigung von bis zu 300% gegenüber der Basisstruktur erreicht wird. Als Erweiterung zu diesem Ansatz wird die repräsentative Kandidatenvorberechnung demonstriert, welche verwendet wird, um die indirekte Lichtberechnung durch die Integration von kaum wahrnehmbaren Bildfehlern signifikant zu beschleunigen. Schließlich werden Techniken vorgeschlagen und bewertet, die auf zweistufigen Strukturen und einer Nutzungsheuristik basieren. Diese reduzieren den Speicherverbrauch und die Approximationsfehler bei Aufrechterhaltung des Geschwindigkeitsgewinns und ermöglichen zusätzlich weitere Möglichkeiten mit Objektinstanziierungen und starren Transformationen.
Alle Beschleunigungs- und Speicherwerte sowie die Näherungsfehler werden gemessen, dargestellt und diskutiert. Insgesamt zeigt sich, dass durch den Line Space eine deutliche Erhöhung der Raytracing Leistung auf Kosten eines höheren Speicherverbrauchs und möglicher Annäherungsfehler erreicht wird. Die vorgestellten Ergebnisse zeigen damit die Leistungsfähigkeit des kombinierten Ansatzes und eröffnen weitere Möglichkeiten für zukünftige Arbeiten.