Arab Center’s (Doha) Arabic Large Language Models

(An Attempt at Arabic Socially & Culturally Aware Modeling)

Dear Colleagues and Friends,

We are pleased to invite you to explore and engage with the DALLA framework; which presents novel Arabic Large Language Models (LLM) built to be socially and culturally aware. This is a pioneering venture to provide a proof of concept that small and lower budget teams have what it takes to build, understand and generate Arabic models with social and cultural awareness.

[Register to try DALLA]

DALLA Added Value

DALLA models differ from frontier “super models” in that they adopt lighter weights. Yet, their design shows that it is possible to provide efficient and effective performance in tasks of interest to user. This is through efficient retraining and fine-tuning with Arabic content, with smart data processing techniques, with preserving privacy, and without exposing IP and training and operational data to big tech companies.

The Dalla framework also presents a token reuse technique to reduce training and inference cost. This achieved a 4x to 2x reduction in token count, and a proportional reduction in training and inference cost compared to original models. This makes advanced Arabic AI tools more accessible and sustainable. Some capacities related to reused tokens might be affected; recovery requires little retraining overhead if these capacities were desirable.

Developers can use and improve the open-source DALLA development pipeline to build their own models and contribute to Arabic AI future.

A Note on Expectations

These are early-stage models. They may hallucinate, make factual mistakes, and misinterpret context at times. Feedback is crucial to help. By engagement, you become part of a collective effort to reinforce, correct, and enhance performance: for Arabic users, by Arabic users.

Kindly use the satisfaction feedback (stars rating, comments, and thumb up/down) so that we can benefit from your comments and improve in the next iterations.

Why It Matters

This project lays the groundwork for an open-source pipeline:

• Builds on open-weights models and preserves their original knowledge base. [dalla.acrps.ai]
• Enables retraining and fine-tuning for Arabic under a (CC BY-NC-SA) license. [GitHub] [dalla-gemma-it] [dalla-llama-it]
• Supports task-specific adaptation for research, media, education, and public service.
• Promotes responsible, socially and culturally aware AI research and development community building in the Arabic world.

We invite you to test, critique, and co-develop this model with us at dalla.acrps.ai. Your insights will directly shape the next generation of Arabic-first, community-driven AI.

Let’s build the future of Arabic AI together.

Warm regards,

DALLA: Doha Arabic LLM Framework Team

Unit for Research in Arabic Digital and Social Spheres

Arab Center for Research and Policy Studies

Doha, Qatar

نماذج المركز العربي (الدوحة) الضخمة للغة العربية

(محاولة بناء نماذج لغوية ضخمة واعية ثقافيا واجتماعيًا)

الزملاء والأصدقاء الأعزّاء،

يسعدنا أن ندعوكم لتجربة واستكشاف اطار دلّة؛ الذي يقدّم نماذج لغوية عربية طوِّرت لتكون واعية اجتماعيا وثقافيا في سياق العالم العربي. هذه النماذج نتاج مبادرة رائدة تثبت بالدليل أن فرقًا صغيرة بميزانيات بسيطة تملك كل ما يحتاجه بناء وفهم وتوليد نماذج لغوية عربية ضخمة لديها حساسية ثقافية واجتماعية.

[سجّل لتجربة دلّة]

القيمة المضافة لدلّة

نماذج دلّة تختلف عن النماذج الفائقة الضخامة المعروفة؛ فهي تتبنى الحجم الصغير مقارنة بحجم النماذج المشهورة. ومع ذلك، فإنها صُمّمت لتبرهن أنه بالإمكان تقديم أداء مقبول وفعّال في مهمات تهم المستخدم، من خلال عملية إعادة التدريب والتنقيح باستخدام بيانات عربية وتقنيات ذكية لتنقية ومعالجة البيانات. وهذا كله من دون الحاجة لمشاركة البيانات مع الشركات الضخمة، ما يحافظ على خصوصية المؤسسات والأفراد المستخدمين لأي من نماذج دلّة المفتوحة الأوزان.

يقدّم إطار دلة تقنية إعادة استخدام الرموز لتخفيض كلفة التدريب والتشغيل. نجحنا في تخفيض عدد الرموز المطلوبة لمعالجة النصوص العربية بمعدل أربع مرات إلى مرتين مقارنة بالنماذج الأصلية. مما يجعل نماذج دلّة المتقدّمة متاحة ومستديمة أكثر. بعض القدرات المتعلقة بالرموز المستخدمة قد تتأثر وبالتالي قد يستوجب ذلك بعض عمليات إعادة التدريب للاحتفاظ بهذه القدرات إن كانت مطلوبة.

ويمكن لفرق مطوّرين بحثية صغيرة نسبيًا استخدام البرامج المفتوحة المصدر لدلة لبناء وتنقيح نماذجهم الخاصة والمساهمة ببناء مستقبل الذكاء الاصطناعي العربي.

ملاحظات مهمّة حول سقف التوقعات عند استخدام نماذج دلة المفتوحة الأوزان

نماذج دلّة لا تزال في مراحل مبكرة. قد “تُهلوس” أحيانًا، أو تقدّم إجابات غير دقيقة، أو تسيء فهم السياق أحيانًا أخرى. وهنا يأتي دور تفاعلكم وتواصلكم مع النماذج ومع الفريق. حيث تشكل تفاعلاتكم وملاحظاتكم عناصر أساسية في تحسين النماذج، وتعزيز قدراتها، وتطويرها لتخدم المستخدمين العرب بصورة أفضل. الرجاء استخدام أدوات التعبير عن حالة الرضا عبر النجوم (stars)، والتعليق (comments)، والإبهام المرفوع والمقلوب (thumbs up/down) ليستطيع الفريق من الاستفادة من تعليقاتكم والاعتناء بها في النماذج القادمة.

لماذا نعتبر هذا المشروع مهمًا؟

يتضمّن هذا المشروع إطلاق منصّة مفتوحة المصدر (CC BY-NC-SA) تمكّن المجموعات العلمية العربية من:

• الاستفادة من نماذج مفتوحة الأوزان مع المحافظة على قواعدها المعرفية الأصلية. [dalla.acrps.ai]
• إعادة تدريب نماذج مفتوحة الأوزان بما يتوافق مع اللغة العربية وسياقاتها. [GitHub] [dalla-gemma-it] [dalla-llama-it]
• تخصيص النماذج لمهام محددة: مثلًا في الإعلام، والبحث العلمي، والتعليم، والخدمات العامة، وغير ذلك.
• تعزيز بناء بيئة عربية بحثية مفتوحة تُطوَّر فيها نماذج لغوية فعّالة، وحسّاسة اجتماعيًا وثقافيًا، ومنخفضة التكلفة.

ندعوكم لاستخدام النماذج، وانتقادها، وتقديم ملاحظاتكم على dalla.acrps.ai. بذلك تكونون مساهمين أساسيين في تشكيل الجيل القادم من تقنيات الذكاء الاصطناعي المبنية عربيًا ولأجل العالم العربي. ذكاء اصطناعي عربي أولًا، بجهود جماعية ذكيّة.

فلنصنع مستقبل الذكاء الاصطناعي العربي… معًا.

مع خالص التحية،

فريق عمل دلّة

وحدة أبحاث المجال الرقمي والاجتماعي العربي

المركز العربي للأبحاث ودراسة السياسات

الدوحة، قطر