Amen

Al final dependerá mucho de tu equipo y el caso de uso. Ciertamente Gemma ofrece un contexto mucho más largo, pero a coste de uso de recursos menos eficiente. No obstante, merece la pena probar ambos para comparar.

Conforme el contexto acumulado crece (limitado a 30k en ambos) Mistral mantiene su velocidad, pero Gemma se hace notablemente más lento y el consumo de recursos en el ordenador crece notablemente más (un 40% más que Mistral aprox.) 🧵

Y ahora vienen otras consideraciones que no puedo medir. Mistral es más serio y conciso. Gemma más hablador y “gracioso”.
En el RAG que tengo montado, Mistral es bastante más rápido que Gemma y más preciso. Y, esto a continuación es importante 🧵

Multilingual. Solo lo he probado en español aparte de inglés. Mistral no comete fallos notables. Gemma 3 tiene algunos problemas con el español, pero muchos menos que, por ejemplo, llama 3.3. 🧵

Velocidad de inferencia. Ambos en local mediante Ollam y en el mismo ordenador(el anterior) y mismo prompt.
Mistral: 20 tokens por segundo.
Gemma 3: 24 tokens por segundo. 🧵

Mistral tiene 32k de contexto y Gemma 128k. Personalmente prefiero 128k, pero para uso local un contexto tan grande satura la memoria a no ser que tengas un pepino de ordenador (en mi caso un MacBook Pro M4 Max con 128 de memoria unificada y aún sufre cuando pasa de 50k tokens) Para gustos. 🧵