Benchmarking von selbst gehosteten LLMs (clt26)

Benchmarking von selbst gehosteten LLMs (clt26)

Author: CCC media team March 29, 2026 Duration: 54:27
Large Language Models (LLMs) revolutionieren derzeit Arbeitsprozesse in der Dokumentenverarbeitung, der Softwareentwicklung und dem Wissensmanagement. Doch die Bequemlichkeit der Nutzung großer Cloud-Anbieter hat einen hohen Preis: Den Verlust der digitalen Souveränität. Wer weder Datenschutz noch volle Kontrolle über die zugrunde liegenden Prozesse garantieren kann, begibt sich in eine riskante Abhängigkeit. Die Lösung ist der Betrieb eigener Modelle auf kontrollierter Infrastruktur. Da High-End-Enterprise-GPUs (wie die H100) oft das Budget sprengen, haben wir am Rechenzentrum der Universität Leipzig untersucht, wie sich LLMs auf „erschwinglicher“ Hardware im Rechenzentrums-Maßstab realisieren lassen. In diesem Vortrag präsentieren wir die Ergebnisse unserer Benchmarking-Studie im Kontext des Kiara-Clusters. Wir analysieren die Performance aktueller Open-Source-Modelle – verschiedene Varianten von Llama 3, Llama 4 sowie DeepSeek – auf NVIDIA L40s-Karten. Dabei berichten wir von unseren Erfahrungen bei der Einrichtung und den Fallstricken im Betrieb. Licensed to the public under http://creativecommons.org/licenses/by/4.0 about this event: https://chemnitzer.linux-tage.de/2026/de/programm/beitrag/279

Tune into the Chaos Computer Club-recent events feed for a direct line to the forefront of digital culture and critical technology discourse. Curated by the CCC media team, this podcast channels the raw, insightful atmosphere of Europe's most influential hacker association, bringing you recordings from their major gatherings and community events. Each episode is a deep dive into talks and presentations from the last two years, covering topics from cryptography and privacy rights to hardware hacking, societal impacts of surveillance, and open-source philosophy. You'll hear from researchers, activists, and engineers who are actively shaping our digital future, offering perspectives rarely found in mainstream tech conversations. This isn't a produced show with hosts; it's an archival audio stream of genuine conference sessions, complete with audience questions and the spontaneous energy of the live event. For anyone interested in the technical details and ethical debates at the heart of modern technology, this feed serves as an essential, unfiltered resource. Subscribe to this podcast to keep your finger on the pulse of the Chaos Computer Club's ongoing dialogue, where complex ideas are broken down and the tools for a more empowered digital life are openly discussed.
Author: Episodes: 100

Chaos Computer Club - recent events feed
Podcast Episodes
Implementing OCPP 1.6 CentralSystem for Fun and Profit (glt26) [not-audio_url] [/not-audio_url]

Duration: 23:57
None Starting with 2026 I gained access to an OCPP 1.6 conform EV WallBox. Thus I decided to implement a OCPP 1.6 based CentralSystem in Rust. As of today the system is able to handle all messages initiated by the Chargi…
Gaming mit Linux statt Windows - Wie gut geht das? (glt26) [not-audio_url] [/not-audio_url]

Duration: 30:23
None Mit dem Auslaufen des Windows 10 Supports und der drastisch gestiegenen Unattraktivität von Windows 11 gewinnt Linux zunehmend an Bedeutung als Gaming-Plattform. Gaming-optimierte Distributionen wie Bazzite oder Cac…
Die Stärken des Device Mappers - von dm-cache bis dm-zoned (glt26) [not-audio_url] [/not-audio_url]

Duration: 26:52
None Der Device Mapper ist seit der Kernel-Version 2.6 – und somit seit mehr als 20 Jahren – Bestandteil des Linux-Kernels. Er ermöglicht die Bereitstellung virtueller Blockgeräte, indem er deren Adressraum auf andere Bl…
From Video to Summary: An Open Source AI Workflow (glt26) [not-audio_url] [/not-audio_url]

Duration: 48:16
None Video content is everywhere, but extracting key information from hours of recordings is time-consuming. Cloud-based transcription and summarization services exist, but they come with privacy concerns, recurring cost…
Proxmox Datacenter Manager (glt26) [not-audio_url] [/not-audio_url]

Duration: 43:01
None In einer zunehmend verteilten IT-Landschaft kann das Management mehrerer einzelner Proxmox-Nodes und Cluster schnell zu einer Herausforderung werden. Der Proxmox Datacenter Manager bringt Ordnung in diese Vielfalt:…