Riffusion

مقدمة

Riffusion تُقدّم طريقة عملية ومباشرة لتحويل النص إلى مقاطع صوتية قصيرة عبر اشتقاق صور طيفية (spectrogram) وتحوّلها إلى صوت فعلي — ما يجعلها أداة مفيدة لإنشاء أفكار موسيقية ومقاطع خلفية بسرعة دون الحاجة لمعرفة عميقة بصناعة الصوت.

ما هي الأداة؟

Riffusion هي مشروع مفتوح المصدر وأيضاً خدمة ويب تعرض نموذجًا لتوليد الصوت اعتمادًا على تقنيات توليد الصور القائمة على النماذج التحويلية (diffusion models). الفكرة التقنية الأساسية عند Riffusion هي تحويل مشكلة توليد الصوت إلى مشكلة توليد صورة طيفية (mel-spectrogram): يتم تدريب أو تهيئة نموذج تحويلي (مستند إلى Stable Diffusion أو نماذج مشابهة) على صور الطيف، ثم يُستخدَم نص (prompt) كمُدخل إلى نموذج النص-إلى-صورة لإنتاج صورة طيفية جديدة. تُحوَّل هذه الصورة بعد ذلك إلى إشارات صوتية باستخدام خوارزميات انعكاس الطيف (مثل عملية inverse STFT مع خوارزميات استعادة الطور مثل Griffin‑Lim أو استخدام vocoder مثل MelGAN أو HiFi‑GAN إذا توفّر).

النتيجة العملية: نص → مولّد طيفي (Diffusion) → صورة طيفية 512×512 → إعادة تحويل الطيف إلى موجة صوتية (WAV/OGG). المشروع متوفّر كمخزن على GitHub لتشغيل محلي ولديه واجهات ويب توضيحية (Gradio‑based demos) وخدمات سحابية تعرض تجربة توليد جاهزة.

الميزات الأساسية

• تحويل النص إلى طيف صوتي (Text → Spectrogram): يستخدم نموذج مشتق من تقنيات Stable Diffusion لابتكار صور طيفية استنادًا إلى أوصاف نصية (prompts).
• تحويل الطيف إلى صوت: يتضمن مسار المعالجة خوارزميات لإعادة بناء الإشارة الزمنية من الطيف، عادةً عبر inverse‑STFT مع Griffin‑Lim أو عبر vocoder مدرَّب لتحويل mel‑spectrogram إلى موجة صوتية عالية الجودة.
• تحرير الطيف (spectrogram inpainting): إمكانيّة رسم أو تظليل أجزاء من الطيف على واجهة الصورة لإعادة توليد أجزاء صوتية مستهدفة (مثال: إزالة أو تغيير حدة مقطع لحنى معين).
• إدخال صورة طيفية جاهزة (image→audio): رفع صورة طيفية موجودة للحصول على ملف صوتي، ما يتيح تحويل أمثلة بصرية أو مقتطفات مرئية إلى صوت.
• معلمات تحكّم دقيقة: إعدادات مثل seed لإعادة إنتاج النتائج، guidance scale (قوة التوجيه النصي)، عدد خطوات الـdiffusion، دقة الطيف، ومعدل العيِّنة (sample rate) للتحكم في طول وجودة المقطع.
• متاح كمشروع مفتوح المصدر وخدمة ويب: نسخة قابلة للتشغيل محليًا عبر GitHub بالإضافة إلى واجهات ويب تجريبية للاستعمال السريع.

الميزات الرئيسية (وشرحها العملي)

• Text-to-Music (نص إلى مقطع موسيقي):

  تكتب وصفًا مثل “lo-fi hip hop, mellow piano loop with vinyl crackle, 90 BPM” ويُنتِج النظام طيفًا يعكس التكوّن الترددي للموسيقى. ميزة عملية: يمكنك تجربة عدة تركيبات نصية خلال دقائق للحصول على أفكار موسيقية خام. تنصح التجارب العملية باستخدام أوصاف موجَّهة (آلات، مزاج، BPM، مؤثرات) للحصول على نتائج متوقعة.

• Spectrogram Inpainting (تحرير الطيف):

  تستطيع تحديد منطقة زمنية‑ترددية في صورة الطيف (مثلاً جزء الترددات العالية خلال الثانية الخامسة) وتُعيد توليدها بصياغة نصية مغايرة، ما يسمح بتعديل ألوان الصوت (timbre) أو القوَّة دون إعادة توليد المقطع كاملًا — مفيد لتعديل ضربات الطبل أو خط لحن محدد.

• Seed وReproducibility (البذرة والتكرار):

  من خلال ضبط seed يمكنك إعادة إنتاج نفس الطيف مرارًا، وهي ميزة مهمة للاستوديوهات التي تريد نتائج متوافقة أو لإجراء مقارنة منهجية بين إعدادات.

• Export WAV/OGG & Looping:

  تتلقى ملف WAV أو OGG يمكن إدخاله مباشرة في محطات العمل الصوتية (DAWs) أو استخدامه كحلقات خلفية للفيديو. عادةً تكون المقاطع قصيرة (5–30 ثانية) ومصممة لتكرار سلس.

• Local Deployability (تشغيل محلي):

  بما أن المشروع مفتوح المصدر، يمكن للمستخدمين تنزيل النموذج وفتح التحكم الكامل (تعديل النموذج، دمجه مع أدوات أخرى، رفع جودة الاستعادة باستخدام vocoder خارجي).

كيفية الاستخدام — دليل خطوة بخطوة

خيار سريع عبر الويب (الأسهل للمبتدئين)

1. افتح الموقع الرسمي (مثال: https://riffusion.com) أو أحد الديمو الموجود على GitHub.