Microsoft torna open source bitnet.cpp

Publié le: 29 octobre 2024
sur la chaîne: BrazilJS

199

O bitnet.cpp é um framework para LLMs de 1 bit. Ele oferece um conjunto de kernels otimizados, que suportam inferência rápida e sem perdas de modelos de 1,58 bits na CPU.

Agora você pode executar modelos com 100B de parâmetros em dispositivos locais com melhorias de velocidade de até 6x e 82% menos consumo de energia, tudo sem uma GPU.

👍 Gostou do vídeo? 👍
Então se inscreva aqui no canal se ainda não é inscrito(a) e ative as 🔔 notificações! 🔔

📪 Se inscreva na newsletter da BrazilJS: https://braziljs.org/welcome
🐦 Nos siga lá no Twitter:   / braziljs
👥 Nosso Linkedin:   / braziljs
📰 Acesse o portal de artigos e notícias BrazilJS: https://braziljs.org
🛴 E no Instagram:   / brazil.js

Sur cette page du site, vous pouvez voir la vidéo en ligne Microsoft torna open source bitnet.cpp durée heure minute seconde en bonne qualité , qui a été Téléchargé par l'utilisateur BrazilJS 29 octobre 2024, Partagez le lien avec vos amis et connaissances, sur youtube cette vidéo a déjà été regardée 199 fois et il a aimé 16 téléspectateurs. Bon visionnage!

9,539

401