🧵Výukový program: Jak přizpůsobit model pro převod textu na emoji a nasadit jej na zařízení, aby běžel přímo ve vašem prohlížeči, během několika minut, zdarma⚡️ Schody: 1. Dolaďte model v Colabu 2. Kvantizujte model až na 300 MB 3. Nasaďte a sdílejte aplikaci, kde může model běžet offline

Přizpůsobení/doladění modelu 1. Vytvořte datovou sadu (v tomto případě páry text a emoji) 2. Jemné doladění. Gemmu 3 270M můžete doladit během několika minut, ve volném T4 Colab, pomocí QLoRA 2.1. Sloučení adaptéru QLoRA Zápisník:

Kvantizace a převod modelu 1️⃣ V závislosti na vaší odvozovací knihovně chcete použít jiný typ souboru GGUF, ONNX atd 2️⃣ Pomocí kvantizace můžete snížit přesnost vah, např. z 16 bitů na 4 bity Příklad pro MediaPipe