Запрос «что такое Mamba» чаще всего приводит к путанице, потому что под этим словом скрывается сразу несколько разных вещей: архитектура нейронных сетей Mamba для языковых моделей, один из старейших сервисов знакомств на русскоязычном рынке, ядовитая змея и даже прозвище баскетболиста. Проверить, какое именно значение вам нужно, проще всего по контексту: если термин встретился в статье про искусственный интеллект — речь о модели, если в разговоре про приложения — о сайте знакомств.
В этом материале разберём каждое значение подробно: как устроена нейросетевая Mamba и чем она отличается от трансформеров, что представляет собой сервис знакомств, а также кратко — биологическое и культурное значения слова.
Mamba как архитектура нейронных сетей
В мире машинного обучения Mamba — это архитектура на основе моделей пространства состояний (State Space Models, SSM), предложенная как альтернатива трансформерам. Её главная идея — обрабатывать длинные последовательности (текст, аудио, код) эффективнее, чем это делает механизм внимания (attention).
У трансформеров стоимость обработки растёт квадратично от длины контекста: чем длиннее текст, тем резко дороже вычисления. Mamba обрабатывает последовательность линейно — шаг за шагом, обновляя внутреннее состояние. Благодаря этому модель может работать с очень длинными контекстами без пропорционального роста затрат памяти.
Ключевой элемент архитектуры — селективный механизм (selective scan): модель сама решает, какую информацию из входа запомнить в состоянии, а какую отбросить. Именно селективность отличает Mamba от более ранних SSM и позволяет ей конкурировать с трансформерами по качеству на языковых задачах.
💡Mamba — это SSM-архитектура с линейной сложностью по длине контекста, альтернатива трансформерам для обработки длинных последовательностей.