Les petits modèles de langage, qui misent sur la qualité des données plutôt que sur leur quantité, ont le vent en poupe en ce moment. Et Phi-3 Mini en est un bon exemple.
Depuis la sortie de ChatGPT, l’industrie n’a d’yeux que pour les grands modèles de langage, ou LLM . De nombreux autres acteurs de l’IA, des titans de la tech comme Meta aux jeunes pousses prometteuses comme Mistral, ont investi ce segment. Mais l’entraînement et l’inférence se paient au prix fort avec des nombres de paramètres très élevés.. Ceux-ci sont certes moins performants que les meilleurs LLM, mais potentiellement bien plus rentables.
En règle générale, il s’agit d’un critère important pour les performances d’un modèle IA. Intuitivement, on pourrait donc s’attendre à ce que Phi-3 soit extrêmement limité en termes de performances. Mais en pratique, l’écart avec les fers de lance de cette industrie n’est apparemment pas si important que ça. Microsoft affirme que son petit poucet propose des réponses équivalentes à celles d’autres modèles 10 fois plus lourds.
C’est comme travailler avec un livre scolaire ; en partant de documents de qualité qui expliquent très bien les choses, on facilite énormément l’apprentissage du modèleIl s’agit d’une approche intéressante qui permet d’obtenir de bons résultats malgré le nombre de paramètres assez restreint. De plus, cette philosophie qui privilégie la qualité à la quantité pourrait faire des merveilles sur un modèle de plus grande taille.
France Dernières Nouvelles, France Actualités
Similar News:Vous pouvez également lire des articles d'actualité similaires à celui-ci que nous avons collectés auprès d'autres sources d'information.
Gel : quelles vont être les nuits les plus froides et les plus risquées pour les agriculteurs ?Depuis quelques jours, la France connaît un épisode de fraîcheur intense et durable, rendant les températures similaires à celles enregistrées en automne, voire en hiver. Ces gelées printanières et ces nuits froides constituent un danger majeur pour les cultures, ce qui inquiète les agriculteurs.
Lire la suite »
Les arnaques Whatsapp les plus dangereuses : mieux les connaître pour les éviterLa règle d’or : amis ou famille, cela ne change rien, quand on reçoit un lien étrange, on ne clique pas !
Lire la suite »
Les règles de circulation pour les trottinettes électriques sont désormais les mêmes que pour les vélosDepuis le 23 mars, les trottinettes électriques doivent respecter les mêmes règles de circulation que les vélos. Cela inclut le respect des panneaux d'interdiction, des feux de circulation et des pistes cyclables.
Lire la suite »
Polluants éternels : les députés interdisent les PFAS dans les vêtements et les cosmétiquesLa proposition de loi du député (EELV) bordelais Nicolas Thierry a été adoptée par l’Assemblée ce 4 avril. Si le Sénat suit, les polluants éternels seront interdits en 2026 dans les vêtements, les cosmétiques et le fart pour les skis.
Lire la suite »
Les « mini-animaux », une nouvelle tendance qui préoccupe les associations de défenseLa mode des « mini-animaux » inquiète les associations françaises de défense des animaux, rapporte « BFMTV ». Aux États-Unis, cette tendance a pris tellement d’ampleur que les mini-vaches étaient l’un des cadeaux les plus attendus sous le sapin à Noël.
Lire la suite »
Les paiements sans contact se multiplient : comment les banques et les commerçant s'adaptent-ils ?Nous recevons aujourd'hui Jean-Paul Mazoyer, Président du GIE Cartes Bancaires (CB) qui nous donnera un éclairage sur l'évolution des systèmes de paiement en France et des moyens d'adaptation que les banques et les commerçants mettent en place pour y répondre.
Lire la suite »