Filtern
Erscheinungsjahr
Dokumenttyp
- Bachelorarbeit (100)
- Diplomarbeit (81)
- Studienarbeit (76)
- Masterarbeit (46)
- Dissertation (18)
- Ausgabe (Heft) zu einer Zeitschrift (12)
- Konferenzveröffentlichung (2)
Sprache
- Deutsch (282)
- Englisch (51)
- Mehrsprachig (2)
Gehört zur Bibliographie
- nein (335) (entfernen)
Schlagworte
- Bildverarbeitung (16)
- Augmented Reality (13)
- Robotik (10)
- Computergrafik (9)
- Computergraphik (9)
- Computervisualistik (9)
- OpenGL (8)
- GPGPU (5)
- GPU (5)
- Line Space (5)
- Mustererkennung (5)
- Programmierung (5)
- Raytracing (5)
- Shader (5)
- Volumendaten (5)
- Android (4)
- Computerspiel (4)
- Graphik (4)
- Segmentierung (4)
- VOXEL (4)
- Volumen-Rendering (4)
- Analyse durch Synthese (3)
- C++ (3)
- Compute Shader (3)
- Computersimulation (3)
- Datenstruktur (3)
- Erweiterte Realität (3)
- Globale Beleuchtung (3)
- Grafikkarte (3)
- Informatik (3)
- Interaktion (3)
- Linespace (3)
- Markerloses Tracking (3)
- Modellbasiertes Tracking (3)
- Objektverfolgung (3)
- OpenGL Shading Language (3)
- Physiksimulation (3)
- Rendering (3)
- Software (3)
- Tracking (3)
- Virtual Reality (3)
- Virtuelle Realität (3)
- Visualisierung (3)
- virtual reality (3)
- 3D (2)
- Applikation (2)
- Augenbewegung (2)
- Automatische Klassifikation (2)
- Autonomes Robotersystem (2)
- Bild (2)
- Bildanalyse (2)
- Bildregistrierung (2)
- Computer (2)
- Computer Graphics (2)
- Computeranimation (2)
- Computertomografie (2)
- DTI (2)
- Datenschutz (2)
- Frau (2)
- GLSL (2)
- Gaze Tracker (2)
- Global Illumination (2)
- Grafikprozessor (2)
- Graphikprozessor (2)
- High dynamic Range (2)
- Immersion (2)
- Kalibrierung (2)
- Kamera (2)
- Laserscanner (2)
- Material Point Method (2)
- Mikroskopie (2)
- Navigation (2)
- Partikelsystem (2)
- Path Tracing (2)
- Point Rendering (2)
- Ray tracing (2)
- Realistische Computergrafik (2)
- Registrierung <Bildverarbeitung> (2)
- Rettungsroboter (2)
- Sand (2)
- Schatten (2)
- Schnee (2)
- Selbstlokalisation (2)
- Smartphone (2)
- Software Engineering (2)
- Spiel (2)
- Starrkörper (2)
- Stereosehen (2)
- Textur-Mapping (2)
- Tourismus (2)
- Transferfunktion (2)
- Transform Feedback (2)
- Volumen (2)
- Volumenrendering (2)
- Webcam (2)
- Whiteboard (2)
- Wiimote (2)
- Wiki (2)
- Zielverfolgung (2)
- image processing (2)
- interaktiv (2)
- tracking (2)
- volume rendering (2)
- 2-D (1)
- 2D/3D-Segmentierung (1)
- 3-D-Laserscannen (1)
- 3-D-Modell (1)
- 3-D-Modelle (1)
- 3-D-Scanning (1)
- 360 Grad (1)
- 360 degree (1)
- 3D Modell Referenz Bildsynthese (1)
- 3D Painting (1)
- 3D-Abbildungen (1)
- 3D-Color-Structure-Code (1)
- 3D-Darstellung (1)
- 3D-RETISEG (1)
- 3D-Scan (1)
- 3D-Vermessung (1)
- 3D-Videospiel (1)
- 3D-Visualisierung (1)
- AMIRE (1)
- AR (1)
- ARToolkit (1)
- ARToolkitPlus (1)
- Acceleration Structures (1)
- Action Recognition (1)
- Action Segmentation (1)
- Adaptive Abtastung (1)
- Adobe Flex (1)
- Algorithmus (1)
- Ambient Occlusion (1)
- Analyse-durch-Synthese (1)
- Android development (1)
- Androidentwicklung (1)
- Angiographiebilder (1)
- Animationsverfahren (1)
- Anzeige (1)
- App (1)
- Assembly (1)
- Astrophysik (1)
- Augenblick-SDK (1)
- Augmented Reality Szenario (1)
- Ausrichtungswerkzeug (1)
- Austausch (1)
- Auszeichnungssprache (1)
- Automatische Kontrolle im Produktionsprozess (1)
- Autonome Exploration (1)
- Autonome Robotik (1)
- Autonomous Exploration (1)
- Autorensystem (1)
- Avatar (1)
- Avatare (1)
- Axis Aligned Bounding Box (AABB) (1)
- BRDF (1)
- Balancetheorie (1)
- Beleuchtung (1)
- Beleuchtungsverfahren (1)
- Benutzerorientierung (1)
- Benutzerprofil (1)
- Benutzerschnittstelle (1)
- Beschleunigungsensor (1)
- Besuchersoftware (1)
- Bewegungsmodell (1)
- BildKlang (1)
- Bildanalyse-Verfahren (1)
- Bildaufloesung (1)
- Bildauflösung (1)
- Bilderkennung (1)
- Bildsegmentierung (1)
- Bildsensor (1)
- Bildverstehen (1)
- Billard (1)
- Blickpunktabhängig (1)
- Blinder Fleck (1)
- Bordinstrument (1)
- Bounding Volume Hierarchie (1)
- Bounding Volume Hierarchy (1)
- Breaking (1)
- Brechung (1)
- Bruchsimulation (1)
- Business Intelligence (1)
- CAD (1)
- CB2 (1)
- CSMs (1)
- CT-Datensätze (1)
- Cascada (1)
- Casual Game (1)
- Casual Games (1)
- Cg (1)
- Charakter-Objekt-Interaktion (1)
- Charakteranimation (1)
- Colonoscopy (1)
- Color Structure Code (1)
- ColorSym (1)
- Coloskopie (1)
- Communication System (1)
- Compute-Shader (1)
- Computer Vision (1)
- Computer assisted communication (1)
- Computer-aided diagnosis (1)
- Computerspiele (1)
- Computertomographie (1)
- Constitutive Model (1)
- CosiMail (1)
- Cybersickness (1)
- DCMTK (1)
- DICOM (1)
- DIN EN ISO 9241 (1)
- Darmpolyp (1)
- Darmspiegelung (1)
- Data compression (1)
- Datenanalyse (1)
- Datenbrille (1)
- Datenkompression (1)
- Datenschutzkompetenz (1)
- Datenschutzkompetenzmodell (1)
- Deep Learning (1)
- Deep Metric Learning (1)
- Designwerkzeug (1)
- Diagnoseunterstützung (1)
- Diagnosis assistance (1)
- Diffusionsbildgebung (1)
- Digital Storytelling (1)
- Digitale Bilder (1)
- Displacement Mapping (1)
- Display (1)
- Distanzfeld (1)
- Dreidimensionale Visualisierung (1)
- Dreidimensionales Modell (1)
- Dynamische Programmierung (1)
- E-Learning (1)
- E-Mail (1)
- ECSA (1)
- EEG (1)
- Echtzeit (1)
- Echtzeit Anwendung (1)
- Echtzeit Raytracing (1)
- Echtzeit-Raytracer "Augenblick" (1)
- Echtzeitanimationssystem (1)
- Echtzeitfähigkeit (1)
- Elektroencephalographie (1)
- Enhanced Reality (1)
- Entity Component System Architecture (1)
- Entwicklung (1)
- Erweiterte Realität <Informatik> (1)
- Eulerian grid (1)
- Evaluation (1)
- Explorationstransformation (1)
- Exporation Transform (1)
- Extended Reality (1)
- Extension (1)
- Eye-Tracking (1)
- Eyetracking (1)
- FPIC (1)
- Fabric Simulation (1)
- Facebook Application (1)
- Fachinformationssysteme (1)
- Farbbildverarbeitung (1)
- Farbenlehre (1)
- Farbsymmetrie (1)
- Farbtheorie (1)
- Fast Convolution (1)
- FastSLAM Algorithmus (1)
- Fedora (1)
- Fell (1)
- Fell Rendering (1)
- Fernsehtechnik (1)
- Feuer (1)
- Fiber Tracking (1)
- Fire (1)
- Flow-Erlebnis (1)
- Flugkörper (1)
- Fluid Simulation (1)
- Fluid dynamics (1)
- Fluiddynamik (1)
- Fluidsimulation (1)
- Foils <Programm> (1)
- Fourier (1)
- Fracturing (1)
- Fragmentshader (1)
- Framework (1)
- Frei Programmierbares Kombinationsinstrument (1)
- Fresnel (1)
- Funktionelle NMR-Tomographie (1)
- GPGPU-Programmierung (1)
- GPU - Raycasting (1)
- GPU Programmierung (1)
- GPU basiert (1)
- GPU-Programmierung (1)
- Gamebased (1)
- Gamebasiertheit (1)
- Gaze-Tracking (1)
- Gebrauchstauglichkeit (1)
- Gebäudemodelle (1)
- Gefäßanalyse (1)
- Gefühl (1)
- Gehirn (1)
- Geländemodell (1)
- Geodaten (1)
- Geometrie-Shader (1)
- Geometry (1)
- Geometry-Shader (1)
- Geometryshader (1)
- Gerstner (1)
- Geste (1)
- Gesteninterpretation (1)
- Gittererzeugung (1)
- Glaukom (1)
- Glint Center Estimation Algorithmus (1)
- Gonioreflectometer (1)
- Gradientenanalyse (1)
- Grafik (1)
- Grafikprogrammierung (1)
- Grails (1)
- Grails 1.2 (1)
- Graphicsprogramming (1)
- Graphik-Hardware (1)
- Graphikhardware (1)
- Graphpipes (1)
- Grundschule (1)
- HDR-Bild (1)
- HDR-Bilder (1)
- HDR-Kamera (1)
- Haare (1)
- Halbschatten (1)
- Haptik (1)
- Headerdaten Netzwerkpaket SOCK_RAW SOCK_PACKET (1)
- Heidelberg Retina Tomograph (1)
- Herausforderung (1)
- Herzerkrankungen (1)
- Hochgeschwindigkeitstracking (1)
- Hochpräzise Volumenmessung (1)
- HoloLens (1)
- Human motion (1)
- ICP-Algorithmus (1)
- IK-Algorithmus (1)
- IceCube (1)
- Imitation Learning (1)
- Implizite Oberfläche (1)
- Indirekte Beleuchtung (1)
- Industrial-CT (1)
- Informatikunterricht (1)
- Information Retrieval (1)
- Information-Retrieval (1)
- Informationsvisualisierung (1)
- Innenarchitektur (1)
- Inpainting-Verfahren (1)
- Interaktionselemente (1)
- Interaktives Whiteboard (1)
- Inverse Kinematik (1)
- Inverses Modell (1)
- Iterative Closest Points (1)
- Iterative Dual Correspondences (1)
- J2ME (1)
- JGraph (1)
- Jump'n Run-Spiel (1)
- KD-Bäume und Binary-Space-Partitioning-Bäume (1)
- Kabel (1)
- Kalibrieren <Messtechnik> (1)
- Kamera Pose Tracking (1)
- Kartesisches Euler-Gitter (1)
- Kartesisches Gitter (1)
- Kartographie (1)
- Katadioptrisches Stereosystem (1)
- Kinect (1)
- Klassifikation (1)
- Klassifikationsframework (1)
- Kohärenzanalyse (1)
- Kollaboration (1)
- Kollisionserkennung (1)
- Koloskopie (1)
- Kontrastlose Oberflächen (1)
- Konturfindung (1)
- Landschaftsgestaltung (1)
- Landschaftsmodell (1)
- Leap-Motion (1)
- Lehrer (1)
- Leichte Sprache (1)
- Lernen (1)
- Lernspiel (1)
- Lichttransport (1)
- Light Injection (1)
- Linienkorrelationen (1)
- Lokale Bildmerkmale (1)
- Lokalisierung (1)
- MP3 Player (1)
- Machine Learning (1)
- Malen (1)
- Mammographie (1)
- Maschinelles Lernen (1)
- Matching-Verfahren (1)
- Matchingverfahren (1)
- Material point method (1)
- Materialmodell (1)
- Materie-Punkt-Methode (1)
- Matting (1)
- Maya (1)
- MeVisLab (1)
- Medizinische Bildverarbeitung (1)
- Medizinische Visualisierung (1)
- Medizintechnik (1)
- Mensch-Maschine-Schnittstelle (1)
- Merkmalsbewertung (1)
- Merkmalsdetektion (1)
- Merkmalsmanagement (1)
- Merkmalssynthese (1)
- Metric based Icp (1)
- Mikroskopische Objekte (1)
- Mind Maps (1)
- Mitral Valve (1)
- Mitralklappe (1)
- Mixed Reality (1)
- Mobile Kommunikation (1)
- Mobile Roboter (1)
- Mobile Robots (1)
- Mobiler Roboter (1)
- Mobiles Informatinssystem (1)
- Modellieren (1)
- Modellierung (1)
- Modellierungstool (1)
- Modulare Softwarearchitektur (1)
- Modulares Softwaresystem (1)
- Montage (1)
- Motion Capturing (1)
- Motion Sickness (1)
- Motivation (1)
- Multidimensional (1)
- Multimodal Action Recognition (1)
- Multimodal Medical Image Analysis Cochlea Spine Non-rigid Registration Segmentation ITK VTK 3D Slicer CT MRI CBCT (1)
- Multiple Object Tracking (1)
- Multivariate Datenanalyse (1)
- Musik (1)
- Musteranalyse (1)
- Myokard (1)
- N-Body Simulation (1)
- N-Körper Simulation (1)
- NURBS (1)
- Natural Image Matting (1)
- Navier"Stokes equations (1)
- Navier-Stokes-Gleichungen (1)
- Networked Graphs (1)
- Netzhaut (1)
- Netzwerkmanagement (1)
- Netzwerkmonitoring (1)
- Netzwerkschicht (1)
- Netzwerktechnik (1)
- Neutino (1)
- Nicht-photorealistisches Rendering (1)
- Nintendo DS (1)
- Nintendo Wii Fernbedienung (1)
- Nvidia CUDA (1)
- OGRE (1)
- Oberflächenentwurf (1)
- Oberflächengestaltung (1)
- Oberflächenorientierung (1)
- Oberflächenstruktur (1)
- Objektentfernung (1)
- Objekterkennung (1)
- Octree Textur (1)
- Oktalbaum (1)
- Oktonärbäume (1)
- One-Shot Action Recognition (1)
- Open Source 3D Graphics Engine (1)
- OpenCL (1)
- Optische Messtechnik (1)
- Optisches Mikroskop (1)
- Ornamentik (1)
- Ornamentklassifikation (1)
- PACS- Picture Archiving (1)
- PBRT (1)
- Packet Header SOCK_RAW SOCK_PACKET (1)
- Par (1)
- Partikel (1)
- Partikelsimulation (1)
- Path transformation (1)
- Pathtracing (1)
- Personentracking (1)
- Personenverfolgungssystem (1)
- Pfadplanung (1)
- Pfadtransformation (1)
- Phantom Omni (1)
- Photogrammetrie Kalibrierung EMVA-1288 (1)
- Photogrammetry (1)
- Physik (1)
- Physikengine (1)
- Planspiegel-System (1)
- Planspiel 2.0 (1)
- Pollenanalyse (1)
- Polypendetektion (1)
- Pose (1)
- Posebestimmung (1)
- Poseschätzung (1)
- Position Based Dynamics (1)
- Positionsbestimmung (1)
- Potenzialfeld (1)
- Pre-Integration (1)
- Primus (1)
- Privacy Competence Model (1)
- Programm (1)
- Präsentation (1)
- Punktkorrelationen (1)
- Punktrendering (1)
- Pupil Center Estimation Algorithmus (1)
- Qt/C++ (1)
- Qualitätssicherung (1)
- RIP-MTI (1)
- RIP-XT (1)
- RMTI (1)
- Radiales System (1)
- Radiosity (1)
- Random Finite Sets (1)
- Raumplanung (1)
- Ray Tracer (1)
- Ray Tracing (1)
- Ray casting (1)
- Ray-Casting (1)
- Real-time computing (1)
- Realistisches Kameramodell (1)
- Reengineering (1)
- Reflections (1)
- Reflektionen (1)
- Reflexion (1)
- Relativitätstheorie (1)
- Rescue League (1)
- Rescue Robots (1)
- Retinex-Algorithmus (1)
- Reverberation (1)
- Rich Internet Application (1)
- Riss (1)
- Rissmusteranalyse (1)
- RoboCup (1)
- RoboCup Rescue (1)
- Roboter (1)
- Robotersystem (1)
- Robust Principal Component Analysis (1)
- Routing (1)
- SIFT-Algorithmus (1)
- SIFT-Merkmale (1)
- SIFT-Verfahren (1)
- SIMD (1)
- SPARQL (1)
- STOR (1)
- SURF-Algorithmus (1)
- Scanmatching (1)
- Schlauch (1)
- Schnelle Faltung (1)
- Segmentation (1)
- Semantic Desktop (1)
- Semantic Web (1)
- Semantik (1)
- Sensor (1)
- Sensorensteuerung (1)
- Separating-Axis-Theorem (1)
- Shaderframework (1)
- Shaderhochsprache (1)
- Shaderprogramm (1)
- Shattering (1)
- Simulation (1)
- Skript (1)
- Skript <Programm> (1)
- Social Games (1)
- Socket (1)
- Socket-Schnittstelle (1)
- Software- Ergonomie (1)
- Spaß (1)
- Specular (1)
- Spektrale Bildgewinnung (1)
- Spielkonsole (1)
- Sprachverarbeitung (1)
- Sprechtherapie (1)
- Stadt (1)
- Stadtmodelle (1)
- Standortbestimmung (1)
- Statistical Shape Model (1)
- Stereobildfolgen (1)
- Stereografie (1)
- Stereoskopie (1)
- Sterne (1)
- Steuerung (1)
- Stilisierung (1)
- Stoffsimulation (1)
- Subsurface Scattering (1)
- Szeneneditor (1)
- Tageslichtprojektor (1)
- Tanzspiel (1)
- Text (1)
- Texterkennung (1)
- Textur (1)
- Texturierung (1)
- Thunderbird <Programm> (1)
- Tiefenbild (1)
- Tiefenkarte (1)
- Ton (1)
- Tone Mapping (1)
- Tone-Mapping (1)
- Tone-Mapping-Verfahren (1)
- Tonemapping (1)
- Tonemapping-Verfahren (1)
- Touchscreen (1)
- Tourism (1)
- Tracking-System (1)
- Trackingsystem (1)
- Transfer function (1)
- Transferfunction (1)
- Transportschicht (1)
- Triangulierung (1)
- USARSim (1)
- Ultraschall (1)
- Ultrasound (1)
- Umgebungslicht (1)
- Ungarische Methode (1)
- Uniforme Raumunterteilung (1)
- Unterricht (1)
- Unterwasser-Pipeline (1)
- Unterwasserfahrzeug (1)
- Unterwasserkabel (1)
- User Interface (1)
- VIACOBI (1)
- VR (1)
- VST (1)
- Vascular analysis (1)
- Verbindungsschicht (1)
- Vertex Buffer Object (1)
- Vertex Buffer Objekt (1)
- Video (1)
- Video-Installation (1)
- Videospielentwicklung (1)
- Virtual characters (1)
- Virtuelle Menschen (1)
- Visualisierungstechniken (1)
- Visuelle Installation (1)
- Visuelle Odometrie (1)
- Vocabulary Trainer (1)
- Volume Hatching (1)
- Volume Rendering (1)
- Volumenvisualisierung (1)
- Vorliebe (1)
- Vorwärtsmodell (1)
- Voxel (1)
- Voxelisierung (1)
- Wasseroberfläche (1)
- Wavelet (1)
- Weibliches Publikum (1)
- Weiterentwicklung (1)
- Wellen (1)
- Wiederhall (1)
- Wii-Balance Board (1)
- Wolkensimulation (1)
- X-Cosim (1)
- XML (1)
- XTpeer (1)
- Zerbrechen (1)
- accelerometer (1)
- android (1)
- area light (1)
- augmented reality (1)
- color image processing (1)
- computer games (1)
- depth map (1)
- directed acyclic graphs (1)
- disparity map (1)
- dreidimensionale Computergraphik (1)
- dynamic programming (1)
- engine (1)
- finite state automata (1)
- flow (1)
- fur rendering (1)
- game (1)
- general purpose (1)
- geometry shader (1)
- graphics card (1)
- hybride App (1)
- image warping (1)
- indirect lighting (1)
- indirektes Licht (1)
- interactive (1)
- interactive application (1)
- interaktive Applikation (1)
- interaktiven (1)
- jump'n run game (1)
- leap motion (1)
- line space (1)
- machine learning (1)
- markerless tracking (1)
- media competence model (1)
- medizinische Bilddaten (1)
- menschliches Auge (1)
- multidimensional (1)
- multidimensional transfer function (1)
- multidimensionale Transferfunktion (1)
- natural language generation (1)
- natural language processing (1)
- natürliche Sprache (1)
- octree texture (1)
- path planning (1)
- performance optimization (1)
- physics (1)
- physics simulation (1)
- plain language (1)
- polyp detection (1)
- privacy and personal data (1)
- privacy competence model (1)
- projektives Malen (1)
- prozedural (1)
- ray casting (1)
- ray tracing (1)
- raycasting (1)
- raytracing (1)
- reflection (1)
- refraction (1)
- regular dag languages (1)
- relativity (1)
- rigid body (1)
- risk (1)
- robotics (1)
- rtx (1)
- scaffolded writing (1)
- scene analysis (1)
- security awareness (1)
- sensor control (1)
- shader (1)
- snow (1)
- soft shadow (1)
- stereo vision (1)
- stereoscopic rendering (1)
- syntaktische Analyse (1)
- texturing (1)
- transform feedback (1)
- virtual human (1)
- visualization (1)
- volume visualization (1)
- volumenrendering (1)
- voxelization (1)
- vulkan (1)
- warp divergence (1)
- water surface (1)
- waves (1)
Institut
- Institut für Computervisualistik (335) (entfernen)
Point Rendering
(2021)
In dieser Arbeit werden Verfahren zum Rendern von Punktdaten vorgestellt und miteinander verglichen. Die Verfahren lassen sich in zwei Kategorien unterteilen. Zum einen werden visuelle Verfahren behandelt, welche sich mit der reinen Darstellung von Punktprimitiven befassen. Hauptproblem ist dabei die Darstellung von Oberflächen, da Punktdaten im Gegensatz zu traditionellen Dreiecksnetzen keine Nachbarschaftsinformationen beinhalten. Zum anderen werden beschleunigende Datenstrukturen dargelegt, welche die echtzeitfähige Darstellung von großen Punktwolken ermöglichen. Punktwolken weisen häufig eine hohe Datenmenge auf, da diese meist durch 3D-Scanningverfahren wie z.B. Laserscanning und Photogrammetrie generiert werden.
Diese Bachelorarbeit erforscht eine Methode zur 3D-Objekterkennung und Posenschätzung, basierend auf dem Punkte-Paare-Eigenschaften-Verfahren (PPE) von Drost et. al. [Dro+10]. Die Methoden der Posenschätzung haben sich in den letzten Jahre zwar deutlich verbessert, stellen jedoch weiterhin ein zentrales Problem im Bereich der Computervisualistik dar. Im Rahmen dieser Arbeit wurde ein Programm implementiert, welches Punktewolkenszenen als Ausgangspunkt erhält und daraus eine Objekterkennung und Posenschätzung durchführt. Das Programm deckt alle Schritte eines Objekterkennungsprogramm ab, indem es 3D-Modelle von Objekten verarbeitet, um deren PPE zu extrahieren. Diese Eigenschaften werden gruppiert und in einer Tabelle gespeichert. Anhand des Auswahlverfahrens, bei dem die Übereinstimmung der Eigenschaften überprüft wird, können potenzielle Posen des Objekts ermittelt werden. Die Posen mit der größten Übereinstimmung werden miteinander verglichen, um ähnliche Posen zu gruppieren. Die Gruppen mit der höchsten Übereinstimmung werden erneut überprüft, sodass am Ende nur eine Pose ausgewählt wird. Das Programm wurde anhand von Real– und Simulationsdaten Daten getestet. Die erhaltenen Ergebnisse wurden anschließend analysiert und evaluiert.
On the recognition of human activities and the evaluation of its imitation by robotic systems
(2023)
This thesis addresses the problem of action recognition through the analysis of human motion and the benchmarking of its imitation by robotic systems.
For our action recognition related approaches, we focus on presenting approaches that generalize well across different sensor modalities. We transform multivariate signal streams from various sensors to a common image representation. The action recognition problem on sequential multivariate signal streams can then be reduced to an image classification task for which we utilize recent advances in machine learning. We demonstrate the broad applicability of our approaches formulated as a supervised classification task for action recognition, a semi-supervised classification task for one-shot action recognition, modality fusion and temporal action segmentation.
For action classification, we use an EfficientNet Convolutional Neural Network (CNN) model to classify the image representations of various data modalities. Further, we present approaches for filtering and the fusion of various modalities on a representation level. We extend the approach to be applicable for semi-supervised classification and train a metric-learning model that encodes action similarity. During training, the encoder optimizes the distances in embedding space for self-, positive- and negative-pair similarities. The resulting encoder allows estimating action similarity by calculating distances in embedding space. At training time, no action classes from the test set are used.
Graph Convolutional Network (GCN) generalized the concept of CNNs to non-Euclidean data structures and showed great success for action recognition directly operating on spatio-temporal sequences like skeleton sequences. GCNs have recently shown state-of-the-art performance for skeleton-based action recognition but are currently widely neglected as the foundation for the fusion of various sensor modalities. We propose incorporating additional modalities, like inertial measurements or RGB features, into a skeleton-graph, by proposing fusion on two different dimensionality levels. On a channel dimension, modalities are fused by introducing additional node attributes. On a spatial dimension, additional nodes are incorporated into the skeleton-graph.
Transformer models showed excellent performance in the analysis of sequential data. We formulate the temporal action segmentation task as an object detection task and use a detection transformer model on our proposed motion image representations. Experiments for our action recognition related approaches are executed on large-scale publicly available datasets. Our approaches for action recognition for various modalities, action recognition by fusion of various modalities, and one-shot action recognition demonstrate state-of-the-art results on some datasets.
Finally, we present a hybrid imitation learning benchmark. The benchmark consists of a dataset, metrics, and a simulator integration. The dataset contains RGB-D image sequences of humans performing movements and executing manipulation tasks, as well as the corresponding ground truth. The RGB-D camera is calibrated against a motion-capturing system, and the resulting sequences serve as input for imitation learning approaches. The resulting policy is then executed in the simulated environment on different robots. We propose two metrics to assess the quality of the imitation. The trajectory metric gives insights into how close the execution was to the demonstration. The effect metric describes how close the final state was reached according to the demonstration. The Simitate benchmark can improve the comparability of imitation learning approaches.
Leichte Sprache (LS) ist eine vereinfachte Varietät des Deutschen in der barrierefreie Texte für ein breites Spektrum von Menschen, einschließlich gering literalisierten Personen mit Lernschwierigkeiten, geistigen oder entwicklungsbedingten Behinderungen (IDD) und/oder komplexen Kommunikationsbedürfnissen (CCN), bereitgestellt werden. LS-Autor*innen sind i.d.R. der deutschen Standardsprache mächtig und gehören nicht der genannten Personengruppe an. Unser Ziel ist es, diese zu befähigen, selbst am schriftlichen Diskurs teilzunehmen. Hierfür bedarf es eines speziellen Schreibsystems, dessen linguistische Unterstützung und softwareergonomische Gestaltung den spezifischen Bedürfnissen der Zielgruppe gerecht wird. EasyTalk ist ein System basierend auf computerlinguistischer Verarbeitung natürlicher Sprache (NLP) für assistives Schreiben in einer erweiterten Variante von LS (ELS). Es stellt den Nutzenden ein personalisierbares Vokabular mit individualisierbaren Kommunikationssymbolen zur Verfügung und unterstützt sie entsprechend ihres persönlichen Fähigkeitslevels durch interaktive Benutzerführung beim Schreiben. Intuitive Formulierungen für linguistische Entscheidungen minimieren das erforderliche grammatikalische Wissen für die Erstellung korrekter und kohärenter komplexer Inhalte. Einfache Dialoge kommunizieren mit einem natürlichsprachlichen Paraphrasengenerator, der kontextsensitiv Vorschläge für Satzkomponenten und korrekt flektierte Wortformen bereitstellt. Außerdem regt EasyTalk die Nutzer*innen an, Textelemente hinzuzufügen, welche die Verständlichkeit des Textes für dessen Leserschaft fördern (z.B. Zeit- und Ortsangaben) und die Textkohärenz verbessern (z.B. explizite Diskurskonnektoren). Um das System auf die Bedürfnisse der Zielgruppe zuzuschneiden, folgte die Entwicklung von EasyTalk den Grundsätzen der menschzentrierten Gestaltung (UCD). Entsprechend wurde das System in iterativen Entwicklungszyklen ausgereift, kombiniert mit gezielten Evaluierungen bestimmter Aspekte durch Gruppen von Expert*innen aus den Bereichen CCN, LS und IT sowie L2-Lernende der deutschen Sprache. Eine Fallstudie, in welcher Mitglieder der Zielgruppe das freie Schreiben mit dem System testeten, bestätigte, dass Erwachsene mit geringen Lese-, Schreib- und Computerfähigkeiten mit IDD und/oder CCN mit EasyTalk eigene persönliche Texte in ELS verfassen können. Das positive Feedback aller Tests inspiriert Langzeitstudien mit EasyTalk und die Weiterentwicklung des prototypischen Systems, wie z.B. die Implementierung einer s.g. Schreibwerkstatt.
Künstliche neuronale Netze sind ein beliebtes Forschungsgebiet der künst-
lichen Intelligenz. Die zunehmende Größe und Komplexität der riesigen
Modelle bringt gewisse Probleme mit sich. Die mangelnde Transparenz
der inneren Abläufe eines neuronalen Netzes macht es schwierig, effiziente
Architekturen für verschiedene Aufgaben auszuwählen. Es erweist sich als
herausfordernd, diese Probleme zu lösen. Mit einem Mangel an aufschluss-
reichen Darstellungen neuronaler Netze verfestigt sich dieser Zustand. Vor
dem Hintergrund dieser Schwierigkeiten wird eine neuartige Visualisie-
rungstechnik in 3D vorgestellt. Eigenschaften für trainierte neuronale Net-
ze werden unter Verwendung etablierter Methoden aus dem Bereich der
Optimierung neuronaler Netze berechnet. Die Batch-Normalisierung wird
mit Fine-tuning und Feature Extraction verwendet, um den Einfluss der Be-
standteile eines neuronalen Netzes abzuschätzen. Eine Kombination dieser
Einflussgrößen mit verschiedenen Methoden wie Edge-bundling, Raytra-
cing, 3D-Impostor und einer speziellen Transparenztechnik führt zu einem
3D-Modell, das ein neuronales Netz darstellt. Die Validität der ermittelten
Einflusswerte wird demonstriert und das Potential der entwickelten Visua-
lisierung untersucht.