Microsoft torna open source bitnet.cpp

Опубликовано: 29 Октябрь 2024
на канале: BrazilJS

199

O bitnet.cpp é um framework para LLMs de 1 bit. Ele oferece um conjunto de kernels otimizados, que suportam inferência rápida e sem perdas de modelos de 1,58 bits na CPU.

Agora você pode executar modelos com 100B de parâmetros em dispositivos locais com melhorias de velocidade de até 6x e 82% menos consumo de energia, tudo sem uma GPU.

👍 Gostou do vídeo? 👍
Então se inscreva aqui no canal se ainda não é inscrito(a) e ative as 🔔 notificações! 🔔

📪 Se inscreva na newsletter da BrazilJS: https://braziljs.org/welcome
🐦 Nos siga lá no Twitter:   / braziljs
👥 Nosso Linkedin:   / braziljs
📰 Acesse o portal de artigos e notícias BrazilJS: https://braziljs.org
🛴 E no Instagram:   / brazil.js

На этой странице сайта вы можете посмотреть видео онлайн Microsoft torna open source bitnet.cpp длительностью часов минут секунд в хорошем качестве, которое загрузил пользователь BrazilJS 29 Октябрь 2024, поделитесь ссылкой с друзьями и знакомыми, на youtube это видео уже посмотрели 199 раз и оно понравилось 16 зрителям. Приятного просмотра!

9,539

401