Einleitung zum Mathe-, Informatik- und KI-Kompendium
Dieses Dokument ist ein Lehrbuch (ein Buch, das zum Lernen verwendet wird), das mathematische, informatische und künstliche Intelligenz (KI)-Konzepte von Grund auf erklärt. Es richtet sich an Personen, die diese Themen wirklich verstehen wollen, nicht nur, um eine Prüfung zu bestehen.
Hintergrund und Zweck
Der Autor hat jahrelang Notizen über diese Themen gemacht, um ein tiefes Verständnis zu entwickeln. Diese Notizen erwiesen sich als nützlich für Freunde, die sich auf Interviews bei Top-Unternehmen vorbereiteten und erfolgreich waren. Dieses Kompendium wird nun geteilt, um anderen zu helfen.
MCP-Server
Ein MCP-Server (ein Programm, das als Wissensbasis dient) ist enthalten. Dieser Server ermöglicht es KI-Assistenten (wie denen in Code-Editoren), das Kompendium zum Abrufen von Informationen zu nutzen.
Gliederung des Kompendiums
Das Kompendium ist in mehrere Kapitel unterteilt, die verschiedene Bereiche abdecken:
- Kapitel 01: Vektoren: Behandelt Konzepte wie Raum, Größe, Richtung, Normen, Metriken, Produkte und Basen.
- Kapitel 02: Matrizen: Enthält Informationen über Eigenschaften, spezielle Typen, Operationen, lineare Transformationen und Zerlegungen.
- Kapitel 03: Kalkül: Umfasst Ableitungen, Integrale, multivariate Kalküle, Taylor-Approximation, Optimierung und Gradientenabstieg.
- Kapitel 04: Statistik: Behandelt beschreibende Maße, Stichproben, den zentralen Grenzwertsatz, Hypothesentests und Konfidenzintervalle.
- Kapitel 05: Wahrscheinlichkeit: Deckt Zählungen, bedingte Wahrscheinlichkeiten, Verteilungen, Bayes'sche Methoden und Informationstheorie ab.
- Kapitel 06: Maschinelles Lernen: Erklärt klassisches ML, Gradientenmethoden, Deep Learning, Reinforcement Learning und verteiltes Training.
- Kapitel 07: Computerlinguistik: Behandelt Syntax, Semantik, Pragmatik, NLP (Natural Language Processing), Sprachmodelle, RNNs, CNNs, Transformer und moderne LLM-Architekturen.
- Kapitel 08: Computer Vision: Umfasst Bildverarbeitung, Objekterkennung, Segmentierung, Videoverarbeitung, SLAM, CNNs und Vision Transformer.
- Kapitel 09: Audio und Sprache: Behandelt DSP (Digital Signal Processing), ASR (Automatic Speech Recognition), TTS (Text-to-Speech) und damit verbundene Techniken.
- Kapitel 10: Multimodales Lernen: Fokussiert auf Fusionsstrategien, kontrastives Lernen, CLIP, VLMs (Vision-Language Models) und Kreuzmodellgenerierung.
- Kapitel 11: Autonome Systeme: Erklärt Wahrnehmung, Robotik, selbstfahrende Autos und Weltraumroboter.
- Kapitel 12: Graph Neural Networks: Behandelt geometrisches Deep Learning, Graphentheorie, GNNs und 3D-äquivariante Netzwerke.
- Kapitel 13: Computing und Betriebssysteme: Enthält diskrete Mathematik, Computerarchitektur, Betriebssysteme, Nebenläufigkeit und Programmiersprachen.
- Kapitel 14: Datenstrukturen und Algorithmen: Erklärt Big O, Rekursion, Backtracking, DP, Arrays, Hashing, Listen, Bäume, Graphen, Sortierung und binäre Suche.
- Kapitel 15: Produktions-Software-Engineering: Behandelt Linux, Git, Codebase-Design, Tests, CI/CD, Docker, MLOps und die Verwendung von Coding Agents.
- Kapitel 16: SIMD- und GPU-Programmierung: Erklärt C++ für ML, Hardware-Grundlagen, verschiedene Architekturen (ARM, x86) und GPU-Programmierung (CUDA, Triton).
- Kapitel 17: KI-Inferenz: Behandelt Quantisierung, effiziente Architekturen, Serving, Edge Inference und Kostenoptimierung.
- Kapitel 18: ML-Systemdesign: Beinhaltet Systemgrundlagen, Cloud Computing, verteilte Systeme, den ML-Lebenszyklus und Designs für Empfehlungen, Suche und Betrugserkennung.
- Kapitel 19: Angewandte KI: Beschreibt die Anwendung von KI in Finanzen, Gesundheitswesen, Protein- und Medikamentenentwicklung.
- Kapitel 20: Spitzenforschung in KI: Erörtert Themen wie Quanten-ML, neuromorphes ML, dezentrale KI und Gehirn-Maschine-Schnittstellen.
Anmerkungen zum Lernen
Der Autor betont, dass für das Verständnis dieses Kompendiums nur grundlegende Mathematik und einfache Python-Programmierung erforderlich sind. Alles Weitere wird im Laufe des Lesens erklärt.
Es wird eine Lerntechnik vorgeschlagen, die aus zwei Phasen besteht:
- Kumulatives Lesen nach dem Unterricht: Nur Überschriften lesen, das Konzept visualisieren und erklären, dann nur das Fehlende nachlesen und den Code implementieren.
- Schattenlesen vor Prüfungen: Ähnlich wie Phase 1, aber vor Prüfungen angewendet.
Diese Methode zielt darauf ab, ein tiefes Verständnis und "Muskelgedächtnis" für jedes Konzept zu entwickeln.
