വായിക്കാൻ 3 മിനിറ്റ്

പറഞ്ഞ വാക്കുകൾ അതേപടി, ശബ്ദം വേറെ: ശബ്ദപരിവർത്തനം എങ്ങനെ നടക്കുന്നു?

പ്രസിദ്ധീകരിച്ചത്

30 സെക്കൻഡിൽ സാരം

രേഖപ്പെടുത്തിയതോ നേരിട്ട് ലഭിക്കുന്നതോ ആയ സംസാരത്തിലെ വാക്കുകൾ നിലനിർത്താൻ ശ്രമിച്ചുകൊണ്ട് ശബ്ദത്തിന്റെ തിരിച്ചറിയാവുന്ന ഗുണങ്ങൾ മാറ്റുന്ന പ്രക്രിയയാണ് ശബ്ദപരിവർത്തനം.

ഒരു സാങ്കൽപ്പിക നാടകത്തിൽ ഒരാൾ കഥാപാത്രത്തിന്റെ സംഭാഷണം സ്വന്തം ശബ്ദത്തിൽ വായിക്കുന്നു. പിന്നീട് അതേ വാക്കുകൾ മറ്റൊരു ശബ്ദത്തിൽ കേൾക്കുന്നു. വാക്യം വീണ്ടും എഴുതിയിട്ടില്ല; മാറ്റിയത് കേൾക്കുന്ന ശബ്ദത്തിന്റെ സ്വഭാവമാണ്. അതുകൊണ്ട് ശബ്ദവും സന്ദേശവും ഒരേ കാര്യമല്ലെന്ന് മനസ്സിലാക്കാം. ഒരു റെക്കോർഡിങ്ങിൽ പരിചിതമായ ശബ്ദം കേട്ടാൽ പരിചിതനായ ആൾ തന്നെയാണ് സംസാരിച്ചതെന്ന നിഗമനം ഇനി സുരക്ഷിതമല്ല.

മാറുന്നത് എന്താണ്?

നമ്മുടെ ശബ്ദം ഉയർന്നതോ താഴ്ന്നതോ ആണെന്നത് മാത്രം അതിനെ വേർതിരിക്കുന്നില്ല. ഒരേ സ്വരത്തിന് ഓരോരുത്തരുടെ സംസാരത്തിൽ വ്യത്യസ്തമായ മുഴക്കവും നിറവുമുണ്ട്. ഈ കേൾവിയിലെ വ്യത്യാസങ്ങളെയാണ് ശബ്ദഗുണങ്ങൾ എന്നു പറയുന്നത്. ശബ്ദപരിവർത്തനം അവയിൽ മാറ്റം വരുത്തി മറ്റൊരു ശബ്ദത്തോടുള്ള സാമ്യം കൂട്ടാൻ ശ്രമിക്കുന്നു. കേവലം വേഗം കൂട്ടി ശബ്ദം ഉയർത്തുന്നതിൽനിന്ന് ഇത് വ്യത്യസ്തമാണ്. എല്ലാത്തരം മാതൃകകളും ഒരേ മാറ്റങ്ങൾ വരുത്തണമെന്നില്ല.

ഇവിടെ നൽകുന്നത് സംസാരിച്ച ശബ്ദമാണ്. അതേസമയം, എഴുത്തിൽനിന്ന് സംസാരമുണ്ടാക്കുന്ന സംവിധാനത്തിന് നൽകുന്നത് വാചകമാണ്; അത് ഉച്ചാരണവും ഇടവേളകളും അടങ്ങിയ ശബ്ദം സൃഷ്ടിക്കുന്നു. രണ്ടിലും തിരഞ്ഞെടുത്ത ശബ്ദത്തോടുള്ള സാമ്യം ഉണ്ടാകാം. അതിനാൽ മറ്റൊരാളുടെ ശബ്ദം അനുകരിക്കുന്നു എന്ന വിവരണം മാത്രം കേട്ട് ഏതു രീതിയാണ് ഉപയോഗിച്ചതെന്ന് തിരിച്ചറിയാനാവില്ല. സംസാരത്തിന്റെ ശബ്ദം മാറ്റുന്നത് സ്വയം ഭാഷാന്തരം ചെയ്യുന്നതുമല്ല; മറ്റൊരു ഭാഷയിലാക്കാൻ അധിക പ്രക്രിയ ആവശ്യമാണ്.

സംസാരത്തിൽനിന്ന് പുതിയ ശബ്ദത്തിലേക്ക്

ഒരു ഉദാഹരണമായി 2019-ലെ AutoVC ഗവേഷണം നോക്കാം. ഇത് സംഭാഷണത്തിന്റെ ശബ്ദത്തെ കാലക്രമത്തിലുള്ള ശബ്ദഗുണങ്ങളായി പ്രതിനിധീകരിക്കുന്നു. ഒരു ഭാഗം പറഞ്ഞ ഉള്ളടക്കവുമായി ബന്ധപ്പെട്ട വിവരങ്ങൾ ചുരുക്കി സൂക്ഷിക്കാൻ ശ്രമിക്കുന്നു. മറ്റൊരു ഭാഗം ലക്ഷ്യമിട്ട ശബ്ദത്തിന്റെ ഗുണങ്ങൾ പ്രതിനിധീകരിക്കുന്നു. ഇവ ചേർത്താണ് മാറ്റിയ സംസാരത്തിന്റെ ശബ്ദരൂപം നിർമ്മിക്കുന്നത്. അവസാനം കേൾക്കാവുന്ന ശബ്ദമാക്കി മാറ്റുന്നു. എല്ലാ ശബ്ദപരിവർത്തന സംവിധാനങ്ങളുടെയും നിർബന്ധിത രൂപരേഖയല്ല ഇത്.

തയ്യാറാക്കുന്ന ഘട്ടത്തിൽ ഈ ഗവേഷണത്തിലെ മാതൃക സ്വന്തം പരിശീലന ഉദാഹരണങ്ങളുടെ ശബ്ദം പുനർനിർമ്മിക്കാൻ ശ്രമിക്കുന്നു. യഥാർത്ഥ ശബ്ദവും പുനർനിർമ്മിച്ചതും തമ്മിലുള്ള വ്യത്യാസം ഉപയോഗിച്ച് അതിലെ ക്രമീകരണങ്ങൾ തിരുത്തുന്നു. ഉള്ളടക്കത്തിനായി സൂക്ഷിക്കാവുന്ന വിവരത്തിന്റെ അളവ് നിയന്ത്രിക്കുന്നത് ആദ്യത്തെ സംസാരിക്കുന്നയാളുടെ എല്ലാ ശബ്ദഗുണങ്ങളും അതിലൂടെ കടന്നുപോകുന്നത് കുറയ്ക്കാനാണ്. ഉപയോഗിക്കുമ്പോൾ ഉള്ളടക്കസൂചനയ്‌ക്കൊപ്പം മറ്റൊരു ശബ്ദത്തിന്റെ പ്രതിനിധാനം നൽകുന്നു. മനുഷ്യന്റെ വ്യക്തിത്വമോ ഓർമ്മകളോ ഇതിലൂടെ കൈമാറുന്നില്ല.

ഈ ഉദാഹരണത്തിൽ ഉള്ളടക്കസൂചന എന്നു പറയുന്നത് എഴുതിവച്ച വാക്യം ആവണമെന്നില്ല. പറയുന്ന ശബ്ദങ്ങളുടെ ക്രമവും അവയുടെ സമയബന്ധവും വിവരമായി സൂക്ഷിക്കാം. അതിനാൽ ആദ്യം ഓരോ വാക്കും എഴുത്താക്കി മാറ്റിയിട്ടാണ് എല്ലാ ശബ്ദപരിവർത്തനവും നടക്കുന്നത് എന്ന് കരുതേണ്ടതില്ല. കേൾക്കുന്നയാൾക്കുള്ള പ്രധാന പരിശോധന മാറ്റിയ ശബ്ദത്തിൽ സന്ദേശം വ്യക്തമായി നിലനിൽക്കുന്നുണ്ടോ എന്നതാണ്.

ഉദാഹരണത്തിലെ വാക്യം “നാളെ വൈകിട്ട് വരാം” എന്നാണെങ്കിൽ, മാറ്റിയ ശബ്ദത്തിലും അതേ സന്ദേശം കേൾക്കുകയാണ് ലക്ഷ്യം. പക്ഷേ വാക്കുകളുടെ വ്യക്തത, തിരഞ്ഞെടുത്ത ശബ്ദത്തോടുള്ള സാമ്യം, സ്വാഭാവികത എന്നിവ വേറെവേറെ പരിശോധിക്കേണ്ടതാണ്. ശബ്ദം ആകർഷകമായി കേൾക്കുന്നുവെന്നത് ഓരോ അക്ഷരവും ശരിയായെന്ന് തെളിയിക്കുന്നില്ല. പേര്, സമയം, തുക തുടങ്ങിയ പ്രധാന വിവരങ്ങൾ അടങ്ങിയ റെക്കോർഡിങ് പങ്കിടുന്നതിന് മുമ്പ് മുഴുവനായി കേട്ട് ഉറപ്പാക്കുന്നത് പ്രയോജനപ്പെടും.

ശബ്ദസാമ്യം ഒരു ഉറപ്പല്ല

ഒരു ചെറു മാതൃകയിൽ നല്ലതായി കേട്ട ഫലം നീണ്ട സംഭാഷണത്തിലും അതുപോലെ വരുമെന്ന് ഉറപ്പില്ല. AutoVC പഠനം ചില പരീക്ഷണസാഹചര്യങ്ങളിലാണ് ഗുണനിലവാരവും ശബ്ദസാമ്യവും വിലയിരുത്തിയത്. അതിനെ മലയാളത്തിലെ എല്ലാ സംസാരശൈലികൾക്കും പാട്ടുകൾക്കും ഉറപ്പായി വായിക്കരുത്. ചിരി, ശക്തമായ വികാരം, ഇടവേളകൾ എന്നിവ മാറ്റമില്ലാതെ നിലനിൽക്കുമെന്നും വാഗ്ദാനം ചെയ്യാനാവില്ല. നിങ്ങളുടെ ഉപയോഗത്തിന് പ്രധാനമായ ഗുണം യഥാർത്ഥ ഫലത്തിൽ പരിശോധിക്കണം.

രേഖപ്പെടുത്തിയ ശബ്ദം മാറ്റാനാകുന്നു എന്നത് ഫോൺവിളിയിൽ തടസ്സമില്ലാതെ ഉടൻ മാറ്റാനാകുന്നു എന്നതിന് തുല്യമല്ല. തത്സമയ ഉപയോഗത്തിന് ശബ്ദം ലഭിക്കുക, പ്രക്രിയ പൂർത്തിയാക്കുക, പുറത്തേക്കയക്കുക എന്നീ ഘട്ടങ്ങൾ സമയത്തിനുള്ളിൽ നടക്കണം. ഒരു ഗവേഷണത്തിന്റെ ഫലം എല്ലാ ഫോണുകളിലും അതിനുള്ള ഉറപ്പല്ല. അതുപോലെ ശബ്ദം മറ്റൊരാളുടേതായി തോന്നുന്നതുകൊണ്ട് റെക്കോർഡിങ് സ്വകാര്യമായെന്നോ സംസാരിക്കുന്നയാളെ തിരിച്ചറിയാനാവില്ലെന്നോ കരുതരുത്; പറഞ്ഞ പേരുകളും സന്ദർഭവും തിരിച്ചറിയൽ നൽകാം.

മറ്റൊരാളുടെ തിരിച്ചറിയാവുന്ന ശബ്ദം ഉപയോഗിക്കുന്ന സൃഷ്ടിയിൽ അവരുടെ സമ്മതവും മാറ്റം വ്യക്തമാക്കുന്ന അറിയിപ്പും പ്രധാനം. ഉദാഹരണത്തിലെ നാടകശബ്ദം അതിന് അനുമതി നൽകിയ അവതാരകന്റേതായി കരുതാം. പ്രേക്ഷകനോട് ഇത് മാറ്റിയ റെക്കോർഡിങ് എന്നു പറയുമ്പോൾ അഭിനയവും യഥാർത്ഥ പ്രസ്താവനയും വേർതിരിക്കാൻ സഹായിക്കുന്നു. ശബ്ദത്തിന്റെ സാമ്യം ആ വ്യക്തി സന്ദേശം അംഗീകരിച്ചതിന്റെ തെളിവായി അവതരിപ്പിക്കരുത്. സാങ്കേതികമായി ചെയ്യാൻ കഴിയുന്നതും ചെയ്യാൻ അനുമതിയുള്ളതും വ്യത്യസ്ത ചോദ്യങ്ങളാണ്.

FBI-യുടെ 2024 ഡിസംബർ മുന്നറിയിപ്പ് കൃത്രിമ ശബ്ദങ്ങൾ പരിചിതരായി നടിച്ച് പണം ആവശ്യപ്പെടാൻ ഉപയോഗിക്കപ്പെടുന്നതായി രേഖപ്പെടുത്തുന്നു. സംശയകരമായ വിളിയിൽ പണമോ രഹസ്യവിവരമോ ആവശ്യപ്പെട്ടാൽ ആദ്യം നിർത്തി, നേരത്തെ അറിയാവുന്ന നമ്പറിലൂടെയോ സ്ഥാപനത്തിന്റെ ഔദ്യോഗിക ബന്ധവിവരത്തിലൂടെയോ വേറിട്ട് സ്ഥിരീകരിക്കുക. വിളിച്ചയാൾ നൽകിയ പുതിയ നമ്പർ മാത്രം ഉപയോഗിക്കരുത്. ചെറിയ ശബ്ദപ്പിഴ കണ്ടെത്താനായില്ലെങ്കിലും ഈ പരിശോധന ആവശ്യമാണ്. കേട്ട ശബ്ദത്തേക്കാൾ സ്വതന്ത്രമായി പരിശോധിച്ച ബന്ധമാണ് തീരുമാനത്തിന് വിശ്വസനീയമായ അടിസ്ഥാനം.

ഉറവിടങ്ങൾ
  1. AutoVC: Zero-Shot Voice Style Transfer with Only Autoencoder LossPMLR — ICML 2019
  2. Expressive Neural Voice CloningPMLR — ACML 2021
  3. Criminals Use Generative Artificial Intelligence to Facilitate Financial FraudFBI Internet Crime Complaint Center