Поддержать команду Зеркала
Беларусы на войне
  1. В Беларуси дорожает автомобильное топливо. На этот раз не на копейку
  2. Большинство людей в мире дышат грязным воздухом. Нормам ВОЗ соответствуют только семь стран
  3. Политика Трампа может напоминать хаос, но это не так: его тактику еще десять лет назад изучил американский журналист. Вот что он писал
  4. Решили проверить информацию от BYPOL и попытались устроиться в госорганизации с подписью за Бабарико. Рассказываем, что из этого вышло
  5. На рынке недвижимости, по всей видимости, грядет новая реальность. С чем это связано и каков прогноз у экспертов
  6. Водители автобусов утверждают, что на границе с Литвой «трясут жестко». Увеличилось ли время прохождения?
  7. Мобильные операторы анонсировали изменения. Есть предупреждение для клиентов — важно сделать одно действие, чтобы не остаться без связи
  8. Этот аналитик пять лет назад предсказал, что Турчина назначат премьером. Спросили, станет ли он преемником Лукашенко
  9. Зеленский высказался по ситуации в Курской области
  10. Путин согласен с предложением прекратить боевые действия в Украине, «но есть нюансы»
  11. Троллейбусная сеть Минска — крупнейшая в мире. Почему от этого транспорта отказываются во многих странах, несмотря на экологичность?
  12. Если в Польше женщина рожает без мужа, это удивляет. Гинеколог уехала из Беларуси после протестов, а теперь к ней стоят очереди в Польше
  13. Военные аналитики: Украина начала вывод своих войск из Курской области
  14. ISW: Путин может устроить торги и потребовать взамен на 30-дневное прекращение огня различные уступки
  15. Кредиты на автомобили Geely снова подорожали. Под какие проценты сейчас выдают эти займы и сколько придется переплатить банку за 10 лет?
  16. Представитель Кремля: Москва против временного перемирия
  17. Лукашенко на встрече с Путиным завысил явку на прошедших выборах и количество голосов в свою поддержку


Когда выяснилось, что ChatGPT-4o умеет слышать и отвечать на беларусском, взыскательные беларусы начали экзаменовать новую модель. Пока одни умиляются, что она вообще распознает обращенную к ней речь как беларусскую и отвечает на том же языке, другие стыдят ее за неправильное произношение. И все разом замечают у ChatGPT дивный американский акцент. А откуда он вообще мог взяться? Devby.io cпросил у ML-инженера Арсения Кравченко и компьютерного лингвиста Александра Пиперски.

@devby.media

Chat GPT гаворыць па-беларуску! Але ёсць нюанс — з сакавітым амерыканскім акцэнтам. Вось як гэта гучыць 🤪️️️️️️

♬ оригинальный звук — dev.by

Как это устроено

Для начала попытались понять, как вообще устроено произношение в ChatGPT-4o. Это простая озвучка письменной речи — такая же, как, допустим, в Google Translate?

Нет, не соглашается Арсений Кравченко и отсылает к комментарию самой OpenAI. Разработчики объясняют, что последовательность аудио — текст — аудио использовалась раньше. Для этого в голосовом режиме сопрягались три модели: одна транскрибировала голос в текст, другая, собственно GPT-3.5 или GPT-4, принимала текст на вход и возвращала тоже текст, а третья преобразовывала этот текст снова в аудио. Все это требовало от нейронки времени и энергии (на самом деле терялось много информации), сил на смех и эмоции якобы просто не оставалось. В новой модели все иначе — она процессит текст, аудио и картинки одновременно в одной и той же нейросети. В результате умеет и интонировать, и даже петь.

— То есть раньше speech2text, LLM и text2speech были отдельными кусками, а сейчас все живет в одной модели, — итожит Арсений.

— Это значит, что модель генерирует сразу звучание? А что тогда является токеном — не буква, а звук? Или где-то внутри модели все же есть прокладка-текст?

— Да, модель генерит сразу звук, а токены могут быть разные, и они все «нативны». Текста внутри нет — есть векторное представление. То есть на вход поступает разное (например, текст, картинки, звук), оно токенизируется (превращается в векторы), потом происходит хитрое матричное умножение, потом — декодинг, то есть, по сути, обратная токенизация (а вот ее детали OpenAI не раскрывает, насколько мне известно).

— Откуда в беларусской озвучке американский акцент?

— Предположу, что просто английского датасета в тренировке было настолько больше, что всем редким языкам (не только беларусскому) достаются его артефакты.

— Эта тренировка происходит по всем языкам одновременно или по каждому в отдельности?

— Наверняка неизвестно, но подозреваю, что на всех одновременно.

— А откуда машина берет датасет — учится только на том, что ей дают, или, может, сама находит в сети?

— На том, что дают разработчики. Где-то в подготовке правильного датасета скрыто много крутых секретов.

— Значит, рецепт «заливаем в сеть побольше качественного аудиоконтента на белмове, и ИИ начинает говорить чистенько» — вряд ли сработает? По крайней мере, не сработает напрямую?

— Само в лоб не сработает.

А что сработает?

Между тем OpenAI приглашает всех желающих поучаствовать в обучении, отсылая свои аудиоклипы в систему автоматического распознавания речи Whisper API. Разработчики утверждают, что система обучена на 680 000 часов разноязычных данных из интернета, при этом только около трети датасета не на английском. Но, кажется, ваше согласие на использование аудио в тренировке не гарантирует, что его не забракуют.

В то же время блогеры для обучения ChatGPT беларусскому языку советуют пополнять базу шаблонов CommonVoice Mozilla.

Фото: @pikoshyk / X
Фото: @pikoshyk / X

Датасет не виноват? Что думает лингвист

Компьютерный лингвист Александр Пиперски считает, что вопрос об английском акценте нейросети интересен прежде всего в социолингвистическом плане. И дело не в объеме беларусского датасета, а в том, насколько разработчики вообще (не) заморочены на акценте.

— На русском ChatGPT-4o тоже говорит с явным американском акцентом, хотя в этом случае уж точно нет проблем с ресурсами для обучения. Да и на беларусском бы их не было — можно найти достаточно обучающих данных.

Но дело в том, что разработчики ChatGPT живут в англоязычном мире, где отношение к фонетическому разнообразию другое, чем в беларусском или в русском: для них акцент, по которому легко опознается происхождение говорящего — это не что-то неправильное, от чего надо как можно скорее избавиться, а естественное положение вещей. Соответственно, разработчики понимают, что американский акцент у их голосов в разных языках есть, но не осознают, какое сильное раздражение это у нас вызывает, и не ставят перед собой цели немедленно с этим бороться.

На самом деле, даже то видео, которое вы мне прислали (на нем у ChatGPT спрашивают про известных беларусских твиттер-юзеров. — Прим. ред.), показывает, что ситуация взаимодействия разных языков еще сложнее. Мы хотели бы, чтобы в беларусском не было американского акцента, но при этом мы ожидаем беларусский акцент в английских вставках в беларусский текст: даже если написано Twitter латинскими буквами, надо говорить тўітар/тўітэр/твітар/твітэр/… — варианты могут быть разные, но точно не Twitter с полноценным американским произношением. А, например, по-немецки такие вставки сохраняют произношение языка-источника. В общем, есть еще что совершенствовать даже в таких мелочах.

Читайте также на devby.io:

Как найти работу с помощью ChatGPT. Лайфхак от Марины Хомич

Собрали базовые курсы по ChatGPT и Midjourney, чтобы разобраться, заработать и облегчить жизнь

«Жить стало проще и веселее». Как айтишники используют ChatGPT с пользой в работе и дома