Estoy últimamente empapándome y usando varios modelos para ver qué funcionalidades tienen y como se implementan.
Veo esta noticia y digo, coño, no la conocía, vamos a ver que dicen de ella. Siendo algo gubernamental...
Pego a continuación una revisión más detallada y honesta que la del artículo, que se centraba mucho en eso del catalán.
"Tras la presentación con bombos y platillos de los modelos de inteligencia artificial Alia, financiados por el Gobierno de España, la polémica no se hizo esperar. En las últimas horas, se ha desatado gran revuelo por su pobre desempeño al compararlo con otras IA de cierta antigüedad como Llama 2 32B, que Meta lanzó en julio de 2023.
Pero la historia no concluye allí, puesto que los costes de Alia también son motivo de controversia. Si bien no existe un dato preciso al respecto, se estima que ya se destinaron más de 10 millones de euros al desarrollo de esta inteligencia artificial. Una cifra que podría ser todavía mayor y que expertos de la industria consideran muy elevada para los resultados que está entregando la tecnología.
Entre los primeros comentarios críticos contra Alia se mencionó que sería un mero fine tuning —es decir, una versión personalizada— de Llama, la IA de Meta. No obstante, la página del modelo en Hugging Face afirma que se ha preentrenado desde cero usando sets de datos curados de forma manual. Lo que sí se habría aprovechado sería el tokenizador de la familia de modelos creados por la firma de Mark Zuckerberg.
Sobre este asunto, el ingeniero Ramón Medrano Llamas, de Google, brindó su punto de vista a través de su cuenta de X (Twitter). "Los modelos [por Alia] son bien malos, pero una nota: que usen el tokenizer de Llama no implica que sean un fine tune. De hecho, si fueran un fine tune con 17B tokens buenos, los resultados serían mucho mejores y a 100 de coste. Es lo que hizo Francia, por cierto", publicó.
Los benchmarks de Alia son peores que los de Llama 2 32B, de 2023
Los benchmarks de Alia son peores que los de Llama 2 32B, de 2023
La comparación de benchmarks entre Alia y Llama 2. Foto vía Javi López (X/Twitter)
Entre las críticas a los benchmarks de Alia ha destacado la de Javier López, fundador de Magnific AI. El susodicho compartió una captura de pantalla en la que se podían observar los resultados de algunas pruebas en inglés de la IA española, comparada contra la versión de 32.000 millones de parámetros de Llama 2.
La tabla en cuestión mostraba que, en los parámetros en los que había posibilidad de contrastar el rendimiento entre ambos modelos, los resultados de Alia eran peores que los de la inteligencia artificial de Meta al medirlos según su precisión. Como indicamos al comienzo, los de Menlo Park lanzaron dicha versión en julio de 2023, de modo que ya no es una referencia top de la industria.
Tal y como indica la imagen, los ejemplos más contundentes del bajo desempeño de Alia en comparación con Llama 2 32B corresponden al entendimiento e interpretación del lenguaje natural (NLI) y a la creación de respuestas a preguntas (QA). Un punto interesante a considerar es que las tablas de Alia en Hugging Face han dejado de incluir la columna comparativa con el modelo de Meta, al menos al momento de redacción de este artículo.
Ya veremos si los responsables de la nueva IA financiada por el Gobierno de España salen a responder, o si el asunto continúa generando todo tipo de comentarios entre el público."
Este es un artículo, pero todos las webs que no llevan el sello del gobierno de España al final de la página, la ponen de mala a terrible. Siendo educados.
Vamos a toda velocidad hacia el futuro. Como mierda río abajo.
#4"Si bien no existe un dato preciso al respecto, se estima que ya se destinaron más de 10 millones de euros al desarrollo de esta inteligencia artificial."
"Alia se queda atrás
Los datos técnicos revelados muestran deficiencias significativas en áreas cruciales. Según análisis compartidos por Javier López, fundador de Magnific AI, Alia presenta resultados inferiores en pruebas de comprensión del lenguaje natural (NLI) y respuesta a preguntas (QA). Por ejemplo, en la prueba XNLI_en, Alia alcanzó una precisión de 51.77%, mientras que Llama 2 logró aproximadamente 66%. En SQuAD_en, la diferencia es aún más notable: 81.53% frente al 93-94% de Llama 2."
Mira, haz una cosa, ya que te cuesta tanto leer, y entender, dile a la IA que te lo lea y te haga un resumen.
Ps. Poner caritas sonrientes después de decir que eres un fanático ignorante, sólo lo hace más creepy.
#11 Sí, de pronto aparezco yo y me interesó por una noticia que no sabía que habías subido tú. Busco info, porque como he comentado al principio, estoy trasteando con varios modelos, y me encuentro que esto es un truño. Subo una noticia (de las mil que hay) analizando su rendimiento. Y ahí apareces tú con un dato sobre el coste, y haciendo de ridículo palanganero. Ten un poco de orgullo al menos.
Igual el problema es que tendrías que leer para entender y no para saber donde tienes que poner la palangana.
Eres muy simple, cansino y predecible. Venga, que la vida te sea fácil. Porque de lo contrario lo llevas jodido. Agur
*
Veo esta noticia y digo, coño, no la conocía, vamos a ver que dicen de ella. Siendo algo gubernamental...
Pego a continuación una revisión más detallada y honesta que la del artículo, que se centraba mucho en eso del catalán.
"Tras la presentación con bombos y platillos de los modelos de inteligencia artificial Alia, financiados por el Gobierno de España, la polémica no se hizo esperar. En las últimas horas, se ha desatado gran revuelo por su pobre desempeño al compararlo con otras IA de cierta antigüedad como Llama 2 32B, que Meta lanzó en julio de 2023.
Pero la historia no concluye allí, puesto que los costes de Alia también son motivo de controversia. Si bien no existe un dato preciso al respecto, se estima que ya se destinaron más de 10 millones de euros al desarrollo de esta inteligencia artificial. Una cifra que podría ser todavía mayor y que expertos de la industria consideran muy elevada para los resultados que está entregando la tecnología.
Entre los primeros comentarios críticos contra Alia se mencionó que sería un mero fine tuning —es decir, una versión personalizada— de Llama, la IA de Meta. No obstante, la página del modelo en Hugging Face afirma que se ha preentrenado desde cero usando sets de datos curados de forma manual. Lo que sí se habría aprovechado sería el tokenizador de la familia de modelos creados por la firma de Mark Zuckerberg.
Sobre este asunto, el ingeniero Ramón Medrano Llamas, de Google, brindó su punto de vista a través de su cuenta de X (Twitter). "Los modelos [por Alia] son bien malos, pero una nota: que usen el tokenizer de Llama no implica que sean un fine tune. De hecho, si fueran un fine tune con 17B tokens buenos, los resultados serían mucho mejores y a
Los benchmarks de Alia son peores que los de Llama 2 32B, de 2023
Los benchmarks de Alia son peores que los de Llama 2 32B, de 2023
La comparación de benchmarks entre Alia y Llama 2. Foto vía Javi López (X/Twitter)
Entre las críticas a los benchmarks de Alia ha destacado la de Javier López, fundador de Magnific AI. El susodicho compartió una captura de pantalla en la que se podían observar los resultados de algunas pruebas en inglés de la IA española, comparada contra la versión de 32.000 millones de parámetros de Llama 2.
La tabla en cuestión mostraba que, en los parámetros en los que había posibilidad de contrastar el rendimiento entre ambos modelos, los resultados de Alia eran peores que los de la inteligencia artificial de Meta al medirlos según su precisión. Como indicamos al comienzo, los de Menlo Park lanzaron dicha versión en julio de 2023, de modo que ya no es una referencia top de la industria.
Tal y como indica la imagen, los ejemplos más contundentes del bajo desempeño de Alia en comparación con Llama 2 32B corresponden al entendimiento e interpretación del lenguaje natural (NLI) y a la creación de respuestas a preguntas (QA). Un punto interesante a considerar es que las tablas de Alia en Hugging Face han dejado de incluir la columna comparativa con el modelo de Meta, al menos al momento de redacción de este artículo.
Ya veremos si los responsables de la nueva IA financiada por el Gobierno de España salen a responder, o si el asunto continúa generando todo tipo de comentarios entre el público."
hipertextual.com/2025/01/alia-la-ia-espanola-es-un-desastre-y-no-super
Este es un artículo, pero todos las webs que no llevan el sello del gobierno de España al final de la página, la ponen de mala a terrible. Siendo educados.
Vamos a toda velocidad hacia el futuro. Como mierda río abajo.
Y hasta ahí pude leer.
Toma, de otro análisis:
"Alia se queda atrás
Los datos técnicos revelados muestran deficiencias significativas en áreas cruciales. Según análisis compartidos por Javier López, fundador de Magnific AI, Alia presenta resultados inferiores en pruebas de comprensión del lenguaje natural (NLI) y respuesta a preguntas (QA). Por ejemplo, en la prueba XNLI_en, Alia alcanzó una precisión de 51.77%, mientras que Llama 2 logró aproximadamente 66%. En SQuAD_en, la diferencia es aún más notable: 81.53% frente al 93-94% de Llama 2."
Mira, haz una cosa, ya que te cuesta tanto leer, y entender, dile a la IA que te lo lea y te haga un resumen.
Ps. Poner caritas sonrientes después de decir que eres un fanático ignorante, sólo lo hace más creepy.
De pronto apareces tú con "no existen datos precisos... se estima".
*
Igual el problema es que tendrías que leer para entender y no para saber donde tienes que poner la palangana.
Eres muy simple, cansino y predecible. Venga, que la vida te sea fácil. Porque de lo contrario lo llevas jodido. Agur
A mí lo que me ha chirriado solamente es eso de "no existe un dato...se estima". Venga, que tengas buen día.
De tus amigüitos de Newtral.