korben.info
CrankGPT : l'IA à manivelle qui se mérite à la force des bras
CrankGPT vous connaissez ? Elle fait tourner un assistant vocal complet, reconnaissance de la voix comprise, sans prise murale, sans batterie et sans serveur distant, et pour l'alimenter vous tournez une manivelle dont la résistance grimpe quand le modèle réfléchit.
Derrière, deux anciens de Google. Katrin Tomanek, informaticienne, et Alex Kauffmann, passé par le laboratoire ATAP, la division des projets un peu fous. Ils ont monté Squeez Labs ensemble.
Leur conviction tient en une phrase : des modèles d'IA minuscules, privés et spécialisés suffisent pour une bonne partie de nos usages, sans datacenter ni abonnement, à condition d'accepter du matériel modeste.
Le matériel en question ne paie vraiment pas de mine. Un Raspberry Pi 5 avec 8 Go de mémoire, ce petit ordinateur à 80 euros qu'on colle un peu partout. Un chargeur USB à manivelle de 20 watts, vendu comme matériel de survie. Et une carte de condensateurs maison qui garde 20 secondes de réserve, histoire que rien ne s'éteigne quand vos bras lâchent.
Côté logiciel, tout tourne sur le processeur du Pi, sans puce d'accélération. Moonshine transcrit votre voix. Piper répond avec la sienne. Entre les deux, un modèle de langage Liquid LFM2 de 1,2 milliard de paramètres, la même famille d'outils que ChatGPT en version lilliputienne, fabrique les réponses, et un Gemma 3 de Google s'occupe au passage de la traduction.
Le Linux embarqué, un DietPi taillé au plus court, démarre en 3 secondes. Il faut 30 secondes entre le premier tour de manivelle et la conversation. Ensuite, chaque réponse demande entre 0,8 et 2,9 secondes selon le modèle chargé.
Au repos, la machine tire 4 watts. 8 pendant la reconnaissance vocale. 15 quand le texte sort. Un cycliste entraîné tient 120 watts avec les jambes, et vous n'aurez que les biceps. Bon courage.
Le plus chouette : la résistance de la manivelle varie avec la charge de calcul, et quand l'IA réfléchit c'est physiquement plus dur à tourner. Kauffmann raconte qu'on sent littéralement l'inférence, ce moment où le modèle fabrique sa réponse. Le même résume d'ailleurs sa philosophie d'une formule : demander à Claude d'additionner deux nombres, c'est écraser une mouche avec une boule de démolition.
Squeez vise des usages très concrets. La reconnaissance vocale des personnes avec un accent prononcé. Une IA de jardinage ou de mécanique qui n'a quand même pas besoin d'un centre de données entier.
Le prototype coûte environ 300 dollars de matériel, contre 150 pour la toute première version. Les plans et schémas doivent être publiés prochainement, et l'agent vocal est déjà disponible sur GitHub si vous voulez bricoler le vôtre.
Si vous voulez mon avis, une IA qui fait transpirer à chaque question est le meilleur cours d'éducation énergétique jamais inventé.
Source : The Register
