🧵Tutorial: Como personalizar um modelo para texto-para-emoji e implementar no dispositivo para executar diretamente no seu navegador, em minutos, gratuitamente⚡️ Passos: 1. Ajustar o modelo no Colab 2. Quantizar o modelo para 300MB 3. Implementar e compartilhar uma aplicação onde o modelo pode ser executado offline
Personalize/ajuste o modelo 1. Crie um conjunto de dados (neste caso, pares de texto e emoji) 2. Ajuste fino. Você pode ajustar o Gemma 3 270M em minutos, no T4 Colab gratuito, com QLoRA 2.1. Mescle o adaptador QLoRA Notebook:
Quantize e converta o modelo 1️⃣ Dependendo da sua biblioteca de inferência, você vai querer usar diferentes tipos de arquivo GGUF, ONNX, etc 2️⃣ Com a quantização, você pode reduzir a precisão dos pesos, por exemplo, de 16 bits para 4 bits Exemplo para MediaPipe
8,01K