🧵Tutorial: Como personalizar um modelo para texto para emoji e implantar no dispositivo para ser executado diretamente em seu navegador, em minutos, gratuitamente⚡️ Passos: 1. Ajuste o modelo no Colab 2. Quantize o modelo até 300 MB 3. Implantar e compartilhar um aplicativo em que o modelo pode ser executado offline
Personalizar/ajustar o modelo 1. Crie um conjunto de dados (neste caso, pares de texto e emoji) 2. Ajuste fino. Você pode ajustar o Gemma 3 270M em minutos, em T4 Colab gratuito, com QLoRA 2.1. Mesclar o adaptador QLoRA Caderno:
Quantizar e converter o modelo 1️⃣ Dependendo da sua biblioteca de inferência, você deseja usar diferentes tipos de arquivo GGUF, ONNX, etc 2️⃣ Com a quantização, você pode reduzir a precisão dos pesos, por exemplo, 16 bits para 4 bits Exemplo de MediaPipe
8,01K