Сравнение Алисы (Яндекс) и Гигачат (Сбер) по 5 бенчмаркам: τ³, ПРАКТ-120, MultiChallenge, WildBench и Arena‑Hard

Всем привет!

Я обещал написать эту статью и я наконец‑то закончил тесты и готов поделиться с вами результатами.

Я потратил МНОГО времени на то, чтобы прогнать эти бенчмарки. Много времени на сетапы, много времени на ожидание тестов. Все вместе заняло около двух недель работы — модели обрывались, где‑то нужно было костылять заплатки чтобы они отвечали, где‑то просто ждать по несколько дней на прохождение теста (даже в многопоточном тестировании).

Наконец‑то я получил ответы, которые мне интересны — и, надеюсь, будут интересны и вам, и создателям Алисы и Гигачата. Почему они сами не проходят такие бенчмарки я догадываюсь, но на месте руководства этими проектами я бы наоборот, поставил бы прохождение бенчмарков в цикл. Потому что только так можно понять где твоя модель, а где мировые лидеры.