വായിക്കാൻ 3 മിനിറ്റ്

ന്യൂറൽ മെഷീൻ ട്രാൻസ്‌ലേഷൻ: വാക്കുകൾക്ക് പകരം ആശയങ്ങളെ വിവർത്തനം ചെയ്യുന്ന സാങ്കേതികവിദ്യ

പ്രസിദ്ധീകരിച്ചത് പുതുക്കിയത്

30 സെക്കൻഡിൽ സാരം

വാക്കുകളുടെ അക്ഷരാർത്ഥത്തിലുള്ള വിവർത്തനത്തിന് പകരം ആധുനിക ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ ഉപയോഗിച്ച് വാക്യങ്ങളുടെ മുഴുവൻ വ്യാകരണവും സാമൂഹിക സന്ദർഭവും ഉൾക്കൊണ്ട് സ്വാഭാവികമായി പരിഭാഷപ്പെടുത്തുന്ന കമ്പ്യൂട്ടർ സാങ്കേതികവിദ്യയാണ് ന്യൂറൽ പരിഭാഷ.

വിദേശത്തുള്ള ഒരു സുഹൃത്ത് ഇംഗ്ലീഷിലോ അറബിയിലോ അയച്ച സന്ദേശം മൊബൈലിലെ ട്രാൻസ്‌ലേഷൻ ആപ്പിലിട്ട് മലയാളത്തിലേക്ക് മാറ്റി വായിച്ച അനുഭവം നമുക്കുണ്ടായിരിക്കാം. പണ്ട് കമ്പ്യൂട്ടറുകൾ ഇത്തരത്തിൽ വിവർത്തനം ചെയ്യുമ്പോൾ വായിച്ചാൽ ചിരിവരുന്ന വലിയ അബദ്ധങ്ങൾ സംഭവിക്കാറുണ്ടായിരുന്നു. ഒരു പോക്കറ്റ് ഡിക്ഷണറി ഉപയോഗിച്ച് ഓരോ വാക്കിനും തുല്യമായ അർത്ഥം യാന്ത്രികമായി തപ്പിയെടുത്തതായിരുന്നു അതിന് കാരണം. എന്നാൽ ഇന്ന് പല ആപ്പുകളും ഒരു വാക്യം വായിച്ച് അതിന്റെ യഥാർത്ഥ അർത്ഥവും ശൈലിയും മനസ്സിലാക്കി തികച്ചും സ്വാഭാവികമായ മലയാളത്തിൽ മറുപടി തരുന്നു. വാക്കുകളെ വെറുതെ മാറ്റിവെക്കുന്നതിന് പകരം ആശയങ്ങളെ വിവർത്തനം ചെയ്യാൻ കമ്പ്യൂട്ടർ പഠിച്ചതാണ് ഈ മാറ്റത്തിന് പിന്നിൽ.

പണ്ട് ഗൂഗിൾ ട്രാൻസ്‌ലേറ്റിൽ ഒരു ഇംഗ്ലീഷ് വാചകം കൊടുത്താൽ ഓരോ വാക്കും വെവ്വേറെ പരിഭാഷപ്പെടുത്തി ചിരിയുണർത്തുന്ന വിചിത്രമായ വാചകങ്ങളായിരുന്നു കിട്ടിയിരുന്നത്. എന്നാൽ ഇന്ന് ട്രാൻസ്‌ലേഷൻ എത്രയോ മനോഹരവും സ്വാഭാവികവുമാണ്! ഇതിന് കാരണം ന്യൂറൽ മെഷീൻ ട്രാൻസ്‌ലേഷൻ (NMT) എന്ന നൂതന സാങ്കേതികവിദ്യയാണ്.

ഇത് പ്രവർത്തിക്കുന്നത് ട്രാൻസ്‌ഫോർമർ ആർക്കിടെക്ചർ (Transformer Architecture) എന്ന സംവിധാനത്തിലൂടെയാണ്. വാക്യത്തിലെ ഓരോ വാക്കും മറ്റ് വാക്കുകളുമായി എങ്ങനെ ബന്ധപ്പെട്ടിരിക്കുന്നു എന്ന് സെൽഫ്-അറ്റൻഷൻ (Self-Attention) വഴി അളക്കുന്നു. ഉദാഹരണത്തിന് ഇംഗ്ലീഷിലെ 'Bank' എന്ന വാക്ക് നദീതീരമാണോ ധനകാര്യ ബാങ്കാണോ എന്ന് ചുറ്റുമുള്ള മറ്റ് വാക്കുകൾ നോക്കി കമ്പ്യൂട്ടർ കൃത്യമായി തിരിച്ചറിയുന്നു (പോളിസെമി അഥവാ Polysemy).

കൂടാതെ ഭാഷകളിലെ ശൈലികളും നാടൻ പ്രയോഗങ്ങളും നേരിട്ട് തർജ്ജമ ചെയ്യാൻ കഴിയില്ല. ഉദാഹരണത്തിന്, മലയാളത്തിലെ 'കണ്ണിൽ എണ്ണയൊഴിച്ചു കാത്തിരിക്കുക' എന്ന ശൈലി ഇംഗ്ലീഷിലേക്ക് വാക്ക്-പ്രതി-വാക്കായി മാറ്റിയാൽ അതൊരു അപകടകരമായ കൃത്യമായി തെറ്റിദ്ധരിക്കപ്പെടാം. ആശയത്തിന്റെ കാതൽ മനസ്സിലാക്കി 'ആകാംക്ഷയോടെ കാത്തിരിക്കുക' എന്ന സ്വാഭാവിക ഇംഗ്ലീഷ് ശൈലിയിലേക്ക് മാറ്റാൻ കമ്പ്യൂട്ടറുകൾക്ക് ഉയർന്ന തലത്തിലുള്ള സന്ദർഭ വിശകലനം ആവശ്യമാണ്.

വാക്യത്തെ ഒന്നായി വായിച്ച് അർത്ഥം കണ്ടെത്തുന്നു

ഇതിനാണ് ന്യൂറൽ മെഷീൻ ട്രാൻസ്‌ലേഷൻ പുതിയൊരു വഴി കണ്ടെത്തിയത്. ഇതിൽ കമ്പ്യൂട്ടർ ഒരു വാക്യത്തെ പല കഷണങ്ങളാക്കി മാറ്റാതെ, മുഴുവൻ വാക്യത്തെയും ഒരൊറ്റ യൂണിറ്റായി ഒരേസമയം വായിക്കുന്നു. വാക്യത്തിലെ ഓരോ വാക്കും മറ്റുള്ള വാക്കുകളെ എങ്ങനെ ബാധിക്കുന്നുവെന്ന് അത് പരിശോധിക്കുന്നു. വാക്യത്തിന്റെ ആകെത്തുകയായ അർത്ഥം എന്താണെന്ന് മനസ്സിലാക്കിയ ശേഷം, ലക്ഷ്യ ഭാഷയുടെ സ്വാഭാവികമായ വ്യാകരണ ചിട്ടകൾ പാലിച്ച് പുതിയൊരു വാക്യമായി അതിനെ മാറ്റിയെഴുതുന്നു.

എങ്കിലും ഔദ്യോഗിക രേഖകളും നിയമപരമായ കരാറുകളും തർജ്ജമ ചെയ്യുമ്പോൾ അന്ധമായി കമ്പ്യൂട്ടറിനെ വിശ്വസിക്കരുത്. പരിഭാഷപ്പെടുത്തിയ വാചകം വീണ്ടും പഴയ ഭാഷയിലേക്ക് തിരിച്ചു മാറ്റി (ബാക്ക്-ട്രാൻസ്‌ലേഷൻ അഥവാ Back-translation) അർത്ഥം ശരിയാണോ എന്ന് പരിശോധിക്കുന്നത് ഒരു നല്ല ശീലമാണ്.

ഈ പുതിയ രീതിയുടെ വലിയ നേട്ടം ഭാഷാ ശൈലികളും ഉപമകളും കൈകാര്യം ചെയ്യുന്നതിലാണ് വ്യക്തമാകുന്നത്. രണ്ട് ഉദാഹരണങ്ങൾ ശ്രദ്ധിക്കുക:

  • ഭാഷാ ശൈലികൾ: ഇംഗ്ലീഷിലെ 'Break a leg' (വിജയാശംസകൾ) എന്ന ശൈലി പഴയ കമ്പ്യൂട്ടറുകൾ അക്ഷരാർത്ഥത്തിൽ കണ്ട് 'കാലൊടിയട്ടെ' എന്ന് വിവർത്തനം ചെയ്ത് അബദ്ധമുണ്ടാക്കിയിരുന്നു. എന്നാൽ ഇന്നത്തെ സംവിധാനങ്ങൾ അതിനെ ഒരു സാംസ്കാരിക ആശംസയായി തിരിച്ചറിഞ്ഞ് അനുയോജ്യമായ ആശയം നൽകുന്നു.
  • ഒരേ വാക്കിന് പല അർത്ഥങ്ങൾ: ഇംഗ്ലീഷിലെ 'Bank' എന്ന വാക്ക് നദിയെക്കുറിച്ചുള്ള വാക്യത്തിലാണെങ്കിൽ 'തീരം' എന്നും, പണമിടപാടുകളെക്കുറിച്ചുള്ള വാക്യത്തിലാണെങ്കിൽ 'ധനകാര്യ സ്ഥാപനം' എന്നും സന്ദർഭത്തിൽ നിന്ന് കമ്പ്യൂട്ടർ തിരിച്ചറിയുന്നു.

സംഭാഷണ മര്യാദകളും ഔദ്യോഗിക ഭാഷയും

കൂടാതെ സംഭാഷണത്തിലെ ഔദ്യോഗിക മര്യാദകൾ തിരിച്ചറിയാനും ആധുനിക വിവർത്തന സംവിധാനങ്ങൾ ശ്രമിക്കാറുണ്ട്. മലയാളത്തിലും ഹിന്ദിയിലുമൊക്കെ ആളുകളോട് സംസാരിക്കുമ്പോൾ 'നീ', 'നിങ്ങൾ', 'താങ്കൾ' എന്നിങ്ങനെയുള്ള സംബോധനകൾ സന്ദർഭത്തിനനുസരിച്ച് മാറുന്നു. ഒരു ഓഫീസിലെ ഔദ്യോഗിക കത്താണോ സുഹൃത്തുക്കൾ തമ്മിലുള്ള സൗഹൃദ സന്ദേശമാണോ എന്ന് ചുറ്റുമുള്ള വാക്യങ്ങളുടെ ഘടനയിൽ നിന്ന് മനസ്സിലാക്കി ഉചിതമായ ആദരവ് നിലനിർത്താൻ മോഡലുകൾക്ക് കഴിയുന്നു.

അതോടൊപ്പം മറ്റൊരു രസകരമായ സവിശേഷതയും ഇതിലുണ്ട്. ടർക്കിഷ് പോലുള്ള ചില ഭാഷകളിൽ സ്ത്രീ-പുരുഷ ഭേദമില്ലാത്ത സർവ്വനാമങ്ങളാണ് ഉള്ളത്. അത്തരം വാക്യങ്ങൾ ഇംഗ്ലീഷിലേക്ക് വിവർത്തനം ചെയ്യുമ്പോൾ, പരിശീലന ഡാറ്റയിലെ പഴയ മുൻവിധികൾ കാരണം 'ഡോക്ടർ' എന്ന വാക്കിന് ഒപ്പം പുരുഷ സർവ്വനാമവും 'നഴ്സ്' എന്ന വാക്കിനൊപ്പം സ്ത്രീ സർവ്വനാമവും സിസ്റ്റം സ്വയം ചേർത്തുവെക്കാറുണ്ട്. സാങ്കേതിക മുന്നേറ്റങ്ങൾക്കിടയിലും ഇത്തരം സാമൂഹിക പക്ഷപാതങ്ങൾ യന്ത്ര വിവർത്തനങ്ങളിൽ കടന്നുകൂടാം എന്നതും ശ്രദ്ധേയമാണ്.

കമ്പ്യൂട്ടർ വിവർത്തനങ്ങൾ പൂർണ്ണമായും വിശ്വസിക്കാമോ?

ഇത്രയൊക്കെ പുരോഗതിയുണ്ടെങ്കിലും യന്ത്ര വിവർത്തനങ്ങൾക്ക് ഗുരുതരമായ പരിമിതികളുണ്ട്. ആഗോളതലത്തിൽ കൂടുതൽ ആളുകൾ സംസാരിക്കുന്ന വലിയ ഭാഷകൾ തമ്മിലുള്ള വിവർത്തനം വളരെ മികച്ചതാണെങ്കിലും, പ്രാദേശിക ഭാഷകളിലോ ഇന്റർനെറ്റിൽ കുറഞ്ഞ വിവരങ്ങൾ മാത്രമുള്ള ഭാഷകളിലോ ഉള്ള വിവർത്തനത്തിൽ തെറ്റുകൾ വരാനുള്ള സാധ്യത ഇന്നും വളരെ കൂടുതലാണ്.

പ്രത്യേകിച്ച്, സങ്കീർണ്ണമായ വലിയ വാക്യങ്ങളിൽ 'അല്ല' അല്ലെങ്കിൽ 'ഇല്ല' പോലെയുള്ള നിഷേധ വാക്കുകൾ ചിലപ്പോൾ വിട്ടുപോകുന്നത് അർത്ഥം പൂർണ്ണമായും തലതിരിഞ്ഞു പോകാൻ ഇടയാക്കും. സാങ്കേതിക പദാവലികളിലും നിയമപരമായ നിബന്ധനകളിലും ഓരോ വാക്കിനും കൃത്യമായ വ്യാഖ്യാനമുണ്ട്. തെറ്റായ ഒരു വിവർത്തനം വലിയ സാമ്പത്തിക നഷ്ടങ്ങൾക്കോ ആശയക്കുഴപ്പങ്ങൾക്കോ കാരണമായേക്കാം. അതിനാൽ ഒരു വിദേശ ഭാഷയിലെ കരാറുകളോ ആരോഗ്യ വിവരങ്ങളോ വായിക്കുമ്പോൾ സഹായത്തിന് എഐ ഉപയോഗിക്കാമെങ്കിലും, നിർണ്ണായക തീരുമാനങ്ങൾ എടുക്കുന്നതിന് മുൻപ് യഥാർത്ഥ ഭാഷാ പരിജ്ഞാനമുള്ള മനുഷ്യരുടെ മേൽനോട്ടം ഉറപ്പാക്കാൻ മടിക്കരുത്.

ഉറവിടങ്ങൾ
  1. Google's Neural Machine Translation SystemGoogle Research