ByteDance aplica el modelo de IA bidireccional SeedRealtime en Doubao

ByteDance ha implementado el modelo de IA bidireccional SeedRealtime, que procesa simultáneamente voz, video y texto, en la aplicación Doubao. La organización de investigación de IA, Seed, presentó SeedRealtime el día 10. Este modelo integra audio, video y texto en una estructura de extremo a extremo, procesando el reconocimiento, comprensión, juicio y expresión de manera paralela. SeedRealtime admite interacciones bidireccionales que evalúan el flujo de conversación mientras recibe entradas sin esperar a que el usuario termine de hablar, e incluye una función de cambio de turno de conversación que reemplaza el detector de actividad de voz (VAD) externo. Según la evaluación interna de ByteDance, los problemas de ritmo conversacional se redujeron a la mitad en comparación con la estructura en cascada existente. Este modelo es una extensión de las capacidades del modelo de voz bidireccional Seeduplex, presentado en abril, que redujo a la mitad la tasa de respuestas incorrectas y de interrupciones en entornos ruidosos. La tasa de interrupciones por parte de la IA mientras el usuario duda disminuyó en un 40%, y el índice de fluidez conversacional mejoró en un 12%. Sin embargo, no se ha confirmado una conexión directa entre este anuncio y el mercado de criptomonedas y blockchain. La información publicada por ByteDance no incluye planes para la emisión de tokens o la integración con redes blockchain.