Zdecydowane przyśpieszenie Bielika.Ai
Fundacja SpeakLeash we współpracy z Akademickim Centrum Komputerowym Cyfronet AGH opracowała dwa nowe modele Bielik.AI. Chodzi o wykorzystanie technologii DFlash - po raz pierwszy zastosowana w Polsce. Rozwiązanie ma znacząco skrócić czas generowania odpowiedzi przez modele językowe bez pogorszenia ich jakości.
Nowe modele to Bielik-11B-v3.0-DFlash oraz Bielik-Minitron-7B-v3.0-DFlash. Ich zadaniem jest przyspieszenie procesu generowania odpowiedzi przez większe modele językowe. Według twórców zastosowanie nowych adapterów pozwala skrócić czas odpowiedzi nawet kilkukrotnie, jednocześnie zmniejszając liczbę przetwarzanych tokenów. Oznacza to również niższe koszty wykorzystania modeli AI w zastosowaniach komercyjnych.
Podczas prac nad rozwiązaniem wykorzystano autorskie podejście opracowane we frameworku ALLaMo. Za jego rozwój odpowiada Krzysztof Ociepa, Head of Model Training w Bielik.AI.
Technologia DFlash opiera się na tzw. dekodowaniu spekulatywnym (speculative decoding). W przeciwieństwie do klasycznego sposobu generowania odpowiedzi, rozwiązanie wykorzystuje współpracę dwóch modeli. Lżejszy model draftowy przygotowuje większe fragmenty tekstu, które następnie są szybko weryfikowane przez model docelowy. Dzięki temu główny model nie musi tworzyć całej odpowiedzi od początku, co pozwala znacząco przyspieszyć proces generowania bez utraty jakości.
Bielik.AI to rozwijana w modelu open science rodzina polskich modeli językowych tworzona przez inżynierów Fundacji SpeakLeash. Modele obsługują 32 języki i zostały zaprojektowane z uwzględnieniem lokalnego kontekstu kulturowego.
“Stworzyliśmy rozwiązanie oparte na algorytmie DFlash, które pozwala znacząco zwiększyć przepustowość inferencji. Jest to szczególnie istotne dla firm budujących produkty AI, które obsługują tysiące użytkowników jednocześnie. Dzięki uruchamianiu Bielika wraz z nowymi modelami draftowymi przedsiębiorstwa będą mogły kilkukrotnie skrócić czas generowania odpowiedzi oraz obniżyć koszty infrastruktury” – powiedział Krzysztof Ociepa, Head of Model Training w Bielik.AI.
