Meta представи SAM Audio – революционен AI модел, който позволява разделяне и редактиране на звуци от сложни аудио смеси с текстови, визуални или времеви промпти. Това е първият унифициран мултимодален инструмент за аудио сегментация, който прави професионалното редактиране достъпно за всеки без сложни програми.
Какво е SAM Audio и как работи?
SAM Audio (Segment Anything Model for Audio) е разработка на Meta AI, която отделя вокали, инструменти, реч или шум от всякакви аудио файлове. Моделът поддържа три вида промпти:
- Текстови – напр. „премахни лая на кучето” или „изолирай китарата”.
- Визуални – кликнете върху обекта във видео (напр. китарист) и моделът автоматично извлича звука му.
- Временни – маркирайте сегмент във вълновата форма и го премахнете от целия файл.
Той е базиран на flow-matching diffusion transformer архитектура с отделни енкодери за всяка модалност и PE-AV (Perceptual Encoder Audio-Visual) за кръстосана обработка на звук и изображение.
Практични приложения за всеки
Инструментът е идеален за създатели на съдържание, подкастъри и професионалисти:
- Почистване на записи от фонов шум (трафик, вятър, лай).
- Изолиране на инструменти от живи концерти или домашни видеа.
- Премахване на звуци от подкасти или интервюта.
- Бързо създаване на стемове (вокал/инструменти) без DAW софтуер.
Meta подчертава, че SAM Audio работи стабилно в реални сценарии, включително музика, реч и случайни звуци, благодарение на голям датасет с синтетични и реални смеси.
Достъпност и бъдеще развитие
SAM Audio е достъпен безплатно в Segment Anything Playground (ai.meta.com) за тестване и сваляне. Моделът е отворен код, което позволява интеграция в приложения за видео/аудио редактиране.
Това е част от по-голямата Segment Anything серия на Meta (след SAM за изображения и видео), която цели да улесни мултимодалното AI редактиране. Потенциални приложения включват мобилни апликации, AR/VR и дори проследяване на звук за сигурност.
Защо SAM Audio променя правилата в аудио редактирането?
Традиционното аудио редактиране изисква експертни умения и часове работа в Adobe Audition или Logic Pro. SAM Audio го прави интуитивно – „слушай с очите си” чрез клик или дума. Това демократизира професионалните инструменти и ускорява работния процес за милиони създатели.
Със SAM Audio всеки може да постигне студийно качество без студийно оборудване – от подкастъри, които премахват шума на климатика, до музиканти, които изолират инструменти от домашни записи.
No Comment! Be the first one.