Арабский язык — это не монолит, а семья диалектов, где каждый имеет свои культурные особенности. Falcon-Emirati-7B от Hugging Face предлагает специализированную модель, способную понимать и генерировать эмиратский арабский диалект с учетом его уникального культурного контекста. Это закрывает пробел, который не могут восполнить LLM, обученные только на современном стандартном арабском (MSA).
Falcon-Emirati-7B — это первая модель, нацеленная на глубокое понимание эмиратского арабского диалекта, включая его словарный запас, тон и культурные особенности. Эти нюансы часто теряются в общих моделях, обученных только на современном стандартном арабском (MSA), который редко используется в повседневном общении. Модель стремится передать юмор, поговорки и местную поэзию, смысл которых не выживает при буквальном переводе.
Модель построена на базе 7B-варианта Falcon-H1-Arabic, семейства арабских моделей с гибридной архитектурой Falcon-H1. Эта архитектура сочетает State Space Models (Mamba) и Transformer attention, обеспечивая эффективность на длинных последовательностях и точность для дальних зависимостей. Такое решение важно для морфологически богатого арабского языка.
Обучение Falcon-Emirati-7B включало подлинные веб-данные на эмиратском диалекте, данные MSA о культуре ОАЭ и синтетические данные, основанные на глоссариях и правилах стиля. Такой подход позволил максимально точно передать нюансы диалекта и культурную идентичность.
Falcon-Emirati-7B демонстрирует растущую тенденцию к созданию глубоко локализованных ИИ, которые выходят за рамки простого перевода, улавливая культурную суть. Однако пока не сообщается о конкретных сравнительных бенчмарках Falcon-Emirati-7B против других моделей, пытавшихся работать с эмиратским диалектом, что затрудняет оценку её уникального превосходства.