Da bin ich ganz bei dir :)
Halluzinationen und das monopol der großen tech firmen im bereich der LLMs ist ein problem.
Um so beeindruckender und wichtiger diese offenen modelle weiter zu pushen und zu verbessern.
Und die suche nach neuen Architekturen und kombinationen wie zb. RAG sind unerlässlich.

I dont think that works. Ther is no mlx-xommunity repository for the 70B model so far. (huggingface.co/collections/...)

I still tried it and got a "Repository Not Found" error.

Anything that I am missing here?

This is nice! But I cant find the 70B model in the provided models. Is the 70B model also coming?

Ach warum. Apertus ist ein open model und vergleichbar mit den olmo2 modellen. Es ist super, das diese kathegorie an modellen endlich auch ein größeres modell mit 70B params hat.

Massentauglich ist das nicht, aber für die Forschung höchst interessant.

The 70b is the biggest open model so far. So yes its a important step.

But it can’t compete with the newer open weight models and also not with the closed models.

Other models you could conpare ot to are the olmo2 models that are also completly open.

Mixture of both.
They used the so called goldfish loss to prevent the memorization and they only trained on open data that is not copyrighted, personal data and they respected all the robot.txt files from webpages.

Soweit ich das gesehen habe läuft die demo die auf publicai.co zur verfügung steht auch auf AWS infra.