SeamlessM4T, hem metni hem de sesi işleyebilen bir sinir ağı olarak, “100’e kadar dil” için metinden konuşmaya, konuşmayı metne, konuşmadan konuşmaya ve metinden metne çeviriler gerçekleştirebiliyor.
Meta, bu yapay zekayı üretmedeki amacının farklı dilleri konuşan insanların birbirleriyle daha etkili iletişim kurmasına yardımcı olmak olduğunu söylüyor.
SeamlessM4T duyurusunda Meta, Douglas Adams’ın klasik bilim kurgu serisindeki Bir Otostopçu’nun Galaksi Rehberi’ndeki kurgusal bir balık olan ve kulağına yerleştirildiğinde konuşulan herhangi bir dili anında tercüme edebilen Babel Fish’e atıfta bulundu.
Tıpkı Babel Fish gibi SeamlessM4T’nin insanlar arasındaki dil problemini kaldırması hedefleniyor.
Babel Fish gibi evrensel bir dil tercümanı oluşturmak zordur çünkü mevcut konuşma-konuşma ve konuşma-metin sistemleri dünya dillerinin yalnızca küçük bir kısmını kapsıyor.
Meta, makine öğrenimi çeviri araçları sunan ilk yapay zeka şirketi değil.
Google Çeviri, 2006’dan beri makine öğrenimi tekniklerini kullanıyor ve GPT-4 gibi büyük dil modelleri diller arasında çeviri yapma yetenekleriyle biliniyor.
Ancak son zamanlarda teknoloji, ses işleme cephesinde kızıştı.
Eylül ayında OpenAI, sesteki konuşmayı tanıyabilen ve bunu yüksek düzeyde doğrulukla metne çevirebilen, Whisper adlı kendi açık kaynaklı konuşmayı metne çeviri modelini yayınladı .
SeamlessM4T, çok modlu çeviriyi çok daha fazla dile genişleterek bu trendden yola çıkıyor.
