Форум - Программное обеспечение и цифра - Как выбрать ИИ-модель для сложного tool calling и автоматизации?

Работаю с ИИ-автоматизацией и столкнулся с проблемой выбора модели. Нужна нейросеть, которая не просто отвечает текстом, а нормально работает с tool calling: вызывает функции, передаёт параметры, не путается в шагах. В описаниях почти все LLM это «поддерживают», но на практике часть моделей ломается на сложных сценариях. Уже потратил кучу времени на тесты. Как вы вообще понимаете, какая ИИ-модель реально справляется с таким уровнем задач?

Очень знакомо. Я пришёл к тому, что без бенчмарков по tool calling тут не разобраться. Сейчас ориентируюсь на тесты вроде Tau2 и ComplexFuncBench, где проверяют именно работу ИИ с функциями. Чтобы не искать всё по разным источникам, иногда смотрю сводные рейтинги на https://www.ai-stat.ru/ Там удобно увидеть, какие LLM реально показывают стабильные результаты в автоматизации, а какие — только на простых примерах.

Спасибо, наконец-то внятное объяснение, буду смотреть в эту сторону.