Microsoft torna open source bitnet.cpp

Publicado em: 29 Outubro 2024
no canal de: BrazilJS

199

O bitnet.cpp é um framework para LLMs de 1 bit. Ele oferece um conjunto de kernels otimizados, que suportam inferência rápida e sem perdas de modelos de 1,58 bits na CPU.

Agora você pode executar modelos com 100B de parâmetros em dispositivos locais com melhorias de velocidade de até 6x e 82% menos consumo de energia, tudo sem uma GPU.

👍 Gostou do vídeo? 👍
Então se inscreva aqui no canal se ainda não é inscrito(a) e ative as 🔔 notificações! 🔔

📪 Se inscreva na newsletter da BrazilJS: https://braziljs.org/welcome
🐦 Nos siga lá no Twitter:   / braziljs
👥 Nosso Linkedin:   / braziljs
📰 Acesse o portal de artigos e notícias BrazilJS: https://braziljs.org
🛴 E no Instagram:   / brazil.js

Nesta página do site você pode assistir ao vídeo on-line Microsoft torna open source bitnet.cpp duração hora minuto segundo em boa qualidade , que foi baixado pelo usuário BrazilJS 29 Outubro 2024, compartilhe o link com seus amigos e conhecidos, no youtube este vídeo já foi visto 199 vezes e gostou 16 espectadores. Boa visualização!

9,539

401