🧵Tutorial: Cómo personalizar un modelo para texto-a-emoji y desplegarlo en el dispositivo para ejecutarlo directamente en tu navegador, en minutos, de forma gratuita⚡️ Pasos: 1. Ajustar el modelo en Colab 2. Cuantizar el modelo a 300MB 3. Desplegar y compartir una aplicación donde el modelo pueda ejecutarse sin conexión
Personaliza/ajusta el modelo 1. Crea un conjunto de datos (en este caso, pares de texto y emoji) 2. Ajusta. Puedes ajustar Gemma 3 270M en minutos, en T4 Colab gratuito, con QLoRA 2.1. Fusiona el adaptador QLoRA Notebook:
Cuantiza y convierte el modelo 1️⃣ Dependiendo de tu biblioteca de inferencia, querrás usar diferentes tipos de archivo GGUF, ONNX, etc. 2️⃣ Con la cuantización, puedes reducir la precisión de los pesos, por ejemplo, de 16 bits a 4 bits Ejemplo para MediaPipe
8,02K