Sign in

Amine Saboni

@aminesaboni.bsky.social
186 followers 697 following 513 posts

ML Engineering, code carbon maintainer

PostsRepliesMedia
Reposted by Amine Saboni
Alexander Doria @dorialexander.bsky.social · 01/10/2026
After a long wait, releasing the SYNTH paper! It’s not pretraining, mid-training or post-training, it’s just training: a fully synthetic single-stage pipeline to train workable reasoning models with unprecedented data efficiency. arxiv.org/abs/2609.378...
14014
Amine Saboni @aminesaboni.bsky.social · 24/09/2026
le bretzel interdit
010
Amine Saboni @aminesaboni.bsky.social · 22/09/2026
Soutine
010
Reposted by Amine Saboni
Mark Riedl @markriedl.bsky.social · 18/09/2026
Well that’s not good. They used Opus 5. It was a white-hat operation, fortunately.
192
Amine Saboni @aminesaboni.bsky.social · 15/09/2026
did you have a look to SGlang (github.com/sgl-project/...)? It's more focused on large models, but they integrate all major optimizations quite fast and now challenge vLLM for production setups (such as lambda.ai/inference-mo...)
github.com
GitHub - sgl-project/sglang: SGLang is a high-performance serving framework for large language models and multimodal models.
SGLang is a high-performance serving framework for large language models and multimodal models. - sgl-project/sglang
110
Reposted by Amine Saboni
Antoine C. @ancadweb.com · 13/09/2026
Pour changer des vidéos de youtubeurs, un (tout) petit #doomanche sur un extrait de l'émission All In sur MSNBC, qui en 3 jours en est déjà à près de 10M de vues rien que sur YouTube. www.youtube.com/watch?v=PWkM...
youtube.com
‘We don’t have months’: Bernie Sanders sounds alarm on AI's 'extinction' threat
YouTube video by MS NOW
173
Amine Saboni @aminesaboni.bsky.social · 14/09/2026
Could you please work on a local SFT one ? This isn’t original, but I often struggle with memory and would like to find a good local setup for this kind of task (inference is great with 48G/30B params range)
110
Amine Saboni @aminesaboni.bsky.social · 13/09/2026
Oui et raisonnablement il a balayé cette histoire qui n’a aucun sens finance.yahoo.com/technology/a...
finance.yahoo.com
Nvidia CEO Reportedly Dismisses Anthropic Exec's AI Doomsday Warning As ‘Outlandish’ And ‘Deeply Untrue’
Jensen Huang rebuffed AI catastrophe warnings while highlighting massive infrastructure demand as key growth drivers.
000
Amine Saboni @aminesaboni.bsky.social · 12/09/2026
J'aurais également pu citer les sous titres (rhétorique "doomer", "doom-pilled" comme Bernie Sanders) qui sont un peu faciles, mais mon but n'était pas de contester la critique; plutôt de suggérer qu'elle se fasse sur les "bonnes" idées (comme la deuxième partie de l'article le fait très bien)
000
Amine Saboni @aminesaboni.bsky.social · 12/09/2026
raisonnable des usages de l'IA mais qui ne soit pas un rejet total de ces technologies. Somme toute je comprends votre nuance, mais elle ne me convainc pas tout à fait :-)
120
Amine Saboni @aminesaboni.bsky.social · 12/09/2026
les déclarations au sujet de l’IA ces derniers mois souvent en reprenant à son compte la rhétorique catastrophiste des “doomers” au sujet des « risques existentiels » posés par l’IA." Pourtant on a bien 2 courants de pensée différents, et les amalgamer risque de couper la voie à une critique
120
Amine Saboni @aminesaboni.bsky.social · 12/09/2026
Pourtant, il y a quelques phrases dans l'article qui le laissent à penser, notamment ce paragraphe : "« On dirait du Bernie Sanders bis », remarque ainsi l’intéressée. De fait, la position affichée par le leader insoumis est proche de celle du sénateur étasunien Bernie Sanders qui multiplie ...
130
Amine Saboni @aminesaboni.bsky.social · 12/09/2026
niveau international. Certes, ce sont aussi des propositions portées par l'industrie de l'IA, mais les placer au même niveau que celles des doomers ne sert pas vraiment le débat. Quelle position de rupture pourrait se passer d'accords internationaux ? Ne serait ce que du point de vue écologique ?
110
Amine Saboni @aminesaboni.bsky.social · 12/09/2026
de risque existentiel notamment), ne se retrouvent pas dans le discours de Mélenchon. S'il parle d'enjeux pour l'humanité, on est loin des problématiques de l'AGI / extinction de l'humanité. Et assimiler les deux peut amener à disqualifier les propos plus modérées, notamment sur la régulation au
120
Amine Saboni @aminesaboni.bsky.social · 12/09/2026
Je trouve la comparaison avec Bernie Sanders, et l'attribution d'une similarité avec les gens de PauseIA, un peu facile, et même un peu dangereuse. Thibaut Prévost le remarque lui même, les inspirations des altruistes efficaces & courants assimilés (qu'on peut retrouver chez PauseIA, via la notion
120
Amine Saboni @aminesaboni.bsky.social · 10/09/2026
Ça commence à ressembler à un problème de management ça, si les standards techniques ne peuvent être assurés.
200
Amine Saboni @aminesaboni.bsky.social · 10/09/2026
Je te recommande le travail de @ubiquity75.xyz à ce sujet (même si elle semble avoir changé de discipline depuis quelques années ?), et notamment celui de la modération de contenu faite par des humains (qui entraînent celle faite par IA).
220
Amine Saboni @aminesaboni.bsky.social · 10/09/2026
Absolument, bon chance Hugo Cela dit, tes réflexions seront sûrement très intéressantes à lire!
100
Amine Saboni @aminesaboni.bsky.social · 09/09/2026
J'ai hâte de le lire!!
010
Amine Saboni @aminesaboni.bsky.social · 08/09/2026
Ce thread a l'air plutôt synthétique : bsky.app/profile/timk...
010
Amine Saboni @aminesaboni.bsky.social · 05/09/2026
Arrives tu à mesurer le nombre de tokens par secondes ? c'est assez impressionnant en interactif
200
Amine Saboni @aminesaboni.bsky.social · 05/09/2026
Hum je n'ai pas besoin sur le mien, avec Ollama je peux avoir un modèle qui tourne en background + quelques IDEs en parallèle. Par contre pour de l'interactif je pense pas que ça soit utilisable, c'est juste pour du batch (ou du développement délégué), ça ne va pas assez vite
100
Amine Saboni @aminesaboni.bsky.social · 05/09/2026
Les 25 / 35B passent sur 48Go de mémoire unifiée sur macbook pro, et ça tourne relativement vite.
110
Amine Saboni @aminesaboni.bsky.social · 05/09/2026
Pour de petits modèles comme celui ci, il y a certaines notions qui sont pas mal à faire apprendre pour améliorer les performances de génération de code. Si jamais tu veux creuser, la doc faite par hugging face est assez cool : huggingface.co/docs/trl/sft... + github.com/huggingface/...
huggingface.co
SFT Trainer · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
220
Amine Saboni @aminesaboni.bsky.social · 05/09/2026
Oui ces petits modèles sont très pertinents pour certaines tâches, Gemma4 est plutôt cool. As tu testé les modèles de Liquid AI ? J'arrive à de très bons résultats avec le LFM2.5 8B-a1B (et un peu de fine tuning pour générer du code entièrement valide) docs.liquid.ai/lfm/models/t...
docs.liquid.ai
Text Models - Liquid Docs
Liquid's LFM text models range from 350M to 8B parameters, delivering ultra-low-latency generation while matching the performance of much larger models. They come in both dense and MoE variants to dep...
111
Amine Saboni @aminesaboni.bsky.social · 05/09/2026
Dans quelle range de paramètres ?
100
Amine Saboni @aminesaboni.bsky.social · 31/08/2026
If you have any pointer / reference to European digital sovereignty material (articles, conference replays, etc), which brings new ideas, it could be great!
010
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
pouvons mesurer le retour sur investissement, au moins un peu plus que pour la première catégorie. Qu'en pensez vous ?
120
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
Et pour moi il me semble important de différencier ces 2 notions, car il y en a une qui promet la richesse sans effort, en capitalisant sur de la propriété intellectuelle volée, alors que les systèmes d'agents qui fonctionnent embarquent bien plus de logiciel & d'ingénierie, déterministe et nous
121
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
investissements et ressources (énergie, eau, puces) depuis fin 2022 de manière assez totalitaire. Les agents IA tels que décrits ici sont un moyen de contrecarrer l'usage déraisonné des LLMs, en les incluant dans des systèmes bien plus complexes (proceedings.nips.cc/paper/2015/f...)
proceedings.neurips.cc
121
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
Il me semble qu'il y a une confusion sémantique qui a entraîné cette longue discussion (intéressante au demeurant!) L'IA qui ne marche pas, et qui est citée dans le premier message, c'est celle qui est vendue comme inéluctable par les géants de la SV, qui vomit du slop et qui accapare les
231
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
probabilité de génération d'un modèle de brouillon moins intelligent, et non plus un sampling aussi déterministe que le beam ou autres méthodes de search
100
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
PS : oui je connais bien le beam search, même si la mode pour les serveurs d'inférence de production actuels c'est d'utiliser du décodage spéculatif, qui renforce encore l'aspect aléatoire de la génération en utilisant une structure de validation où le vérificateur évalue une distribution de
100
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
ce sont des méthodes très classiques d'orchestration / programmation. Ce que je comprends de la réflexion de Thomas, et avec quoi je suis d'accord, c'est qu'on ne peut simplement considérer que les agents actuellement utilisés dans l'industrie soient de l'IA. Les techniques vont bien au delà.
100
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
agents qui sont proprement implémentés mobilisent énormément de formes de contrôle : nombre de tokens de raisonnement maximum, conditions d'arrêt de boucle d'actions, génération structurée avec énumérations de catégories / valeurs possibles, etc. Tout ceci est bien séparé de la technologie des LLM,
200
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
la créativité induite par l'aléatoire permet d'explorer des chemins alternatifs, et c'est très bien. Mais dans des contextes de santé, de production industrielle, etc., le fait que les tokens décodés puissent varier pour des entrées sensiblement similaires est un problème. Et pour y pallier, les
100
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
Ce que j'évoque n'est pas forcément un problème (ça l'est quand pour avoir une solution satisfaisante à un problème de code, je doive forcer l'agent à utiliser des méthodes précises, j'aimerais qu'il me propose toujours la solution la plus qualitative). Dans des contextes non critiques,
110
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
Des modèles non deterministes* qui font la classification, pardon.
000
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
les instructions initiales est aléatoire. On force même la température à des niveaux non nuls pour créer du texte ou des images / vidéos qui ne soient pas tous similaires. Enfin je ne vais pas vous apprendre le fonctionnement des modèles auto régressifs ni de diffusion.
110
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
Les couches de contrôle que je cite ne sont pas de l’IA (même si en pratique ça reste encore des modèles déterministes qui font la classification de contenu pour modérer), elles pourraient tout aussi bien intégrer des systèmes sans IA. Et dans ce que je cite dans l’autre thread, la génération basée
300
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
Sûrement, et les tokenizers sont en grande partie la cause de ce problème, mais la variance induite d’une langue à l’autre ne devrait pas être aussi grande quand les instructions devraient se retrouver au même endroit dans l’espace latent!
000
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
Pour avoir passé un peu de temps du côté (neo)lab, il y a pas mal d’outillage pour faire en sorte que ces outils soient faciles à utiliser, même pour des cas complexes. Modération de contenu, upsampling de prompt, monitoring de drifts, etc., il y a une part importante d’ingénierie la dedans
100
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
d’information. C’est pour cela que les ingénieurs passent autant de temps à produire des harnais qui limitent au max la part d’interprétation et la créativité des modèles à générer des sorties fiables. Essayez par exemple de faire produire du json sans utiliser d’outil de génération structurée ;)
000
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
d’autres langues, pour un contenu semantique similaire. De la même manière, et ce biais ci n’est toujours pas corrigé, exprimer une instruction avec ou sans jargon technique va dramatiquement changer les perfs ou la qualité du code généré. Cela se retrouve aussi dans les taches d’extraction
100
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
Ce n’est pas du surjeu. En pratique, un LLM utilisé dans un agent de code, par exemple, est très sensible au biais initial qu’apportent l’instruction et le contexte fourni. Une instruction en anglais pouvait jusqu’il y a peu changer énormément les performances d’un modèle, comparé au français ou
200
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
(J’essaye d’expliquer le message de Thomas tel que je l’ai compris, je me doute que vous avez une bonne compréhension du sujet !!)
000
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
L’IA est largement encadrée par des systèmes, qui s’ils ne sont pas encore considérés comme de l’IA symbolique, modélisent un certain nombre de processus informationnels ou +/- physiques. C’est tout ce déterminisme qui rend les systèmes qui embarquent de l’IA (la pointe non déterministe) fiables.
310
Amine Saboni @aminesaboni.bsky.social · 30/08/2026
Effectivement, surtout qu’elle est largement soutenue par un certain nombre de médias, je me moquais juste de sa posture.
000
Amine Saboni @aminesaboni.bsky.social · 29/08/2026
Cheftaine, c’est tout de même assez théorique. Elle a le charisme de Glucksmann
110
Amine Saboni @aminesaboni.bsky.social · 27/08/2026
Après avoir monopolisé le hardware de l'inférence, ils vont avoir contrôler l'accès au registre des modèles que tout le monde va utiliser quand les labos privés vont arrêter de subventionner l'usage de leurs modèles Pour moi c'est une nouvelle assez dramatique pour l'écosystème open source
100