Heterogénny AI klaster s Raspberry Pi

1. Heterogénny AI klaster

Projekt tvorí komplexný heterogénny klaster, ktorý kombinuje rôzne typy zariadení pre výpočtové úlohy a AI inferenciu:

• Raspberry Pi 5 s 16 GB RAM – hlavný uzol

• CPU pretaktovaný na 2,9 GHz

• GPU VideoCore VII pretaktovaná na 1,2 GHz

• Externá RX 550 GPU pripojená cez PCIe Gen2 x1 (úspešne prevádzkovaná s vlastnoručne opravenými Vulkan drivermi pre ARM architektúru)

• Coral USB TPU pre rýchlu AI inferenciu

• 3× Raspberry Pi Zero, 2× Raspberry Pi Pico a Arduino Nano pre doplnkové výpočty, I/O a senzory

Celý klaster je chladený ventilátormi a pasívnymi chladičmi, pričom maximálna teplota nedosahuje 65 °C (pri dlhodobej 100% záťaži GPU sa teplota stabilizuje na vynikajúcich 58 °C). Napájanie je riešené vlastným ATX zdrojom, ktorý stabilne napája GPU aj Pi 5 a periférie. Celková spotreba pri plnom zaťažení je 50 W (max. 60 W s eGPU), čo zabezpečuje efektívny a stabilný 24/7 chod.

Na klastri beží vlastný AI chat (LLM) s veľkým modelom (7.6B parametrov), optimalizovaným na IQ3-bitovú kvantizáciu. Vďaka eGPU akcelerácii systém generuje dáta v reálnom čase rýchlosťou 9.5 tokenov/s. Systém zároveň podporuje emuláciu Android aplikácií a 3D hier cez Waydroid (sprevádzkovaný manuálnou migráciou sieťového stacku na nftables), Windows aplikácií a hier cez Wine + Box64, a spúšťanie rôznych kontajnerov, čím demonštruje extrémnu flexibilitu heterogénneho systému. Súčasťou vizualizácie je “digitálny tep” realizovaný cez Arduino, ktoré LED signalizáciou reaguje na každý vygenerovaný token umelej inteligencie.

Použil som NUMA emuláciu na Raspberry Pi, ktorá prinútila Linux rozdeliť pamäťové alokácie a scheduling do viacerých skupín. Tým som znížil konflikty medzi procesmi GPU, AI a UI, takže systém pôsobí plynulejšie pri vysokom zaťažení.“

2. AI riadiaca RC auto

Projekt obsahuje aj samostatný modul – AI riadiacu RC auto, ktorá funguje nasledovne:

• 3D tlačené telo RC auta, s kovovým podvozkom a prevodovkou

• Motory a servá riadené cez Raspberry Pi Zero s podporou vysokého výkonu

• Kamera bude sledovať pohyby ruky používateľa

• AI interpretuje gestá ruky a v reálnom čase posiela príkazy RC autu, čím umožňuje gestami riadiť pohyb vozidla

• Systém je optimalizovaný na presnú a bezpečnú jazdu s reguláciou rýchlosti

• Cez letné prázdniny sa plánujem projektu naplno venovať, dokončiť riadenie gestami a optimalizovať interakciu AI s RC autom

3. Napájanie a hardvérová konfigurácia

• ATX zdroj zabezpečuje stabilné napájanie pre GPU, Pi 5 a periférie (využitie 12V vetvy pre eGPU a 5V vetvy pre mikrokontroléry)

• USB-C Power Delivery slúži pre napájanie Pi a drobných periférií

• Projekt kombinuje pretaktovaný CPU, GPU, TPU a microcontroller uzly do jedného stabilného systému

• Všetky komponenty sú efektívne chladené (potvrdené cez hwmon monitoring: CPU 68°C / GPU 58 °C), spotreba je nízka a projekt je schopný nepretržitej prevádzky bez tepelného throttlovania (tepelnej rovnováhy).