വായിക്കാൻ 3 മിനിറ്റ്

Text-to-video AI: ഒരു ചെറിയ വാചകത്തിൽ നിന്ന് ജീവസ്സുറ്റ ചലനങ്ങൾ സൃഷ്ടിക്കുന്നത് എങ്ങനെ?

പ്രസിദ്ധീകരിച്ചത്

30 സെക്കൻഡിൽ സാരം

എഴുതി നൽകുന്ന നിർദ്ദേശങ്ങളിൽ നിന്ന് സ്ഥലകാല ചലനങ്ങളെ ഒരേസമയം കണക്കുകൂട്ടി കൃത്രിമബുദ്ധി സ്വാഭാവികമായ വീഡിയോ ദൃശ്യങ്ങൾ നിർമ്മിക്കുന്ന സാങ്കേതികവിദ്യയാണ് ടെക്സ്റ്റ്-ടു-വീഡിയോ.

കുറച്ചു കാലം മുൻപുവരെ നിർമ്മിതബുദ്ധിക്ക് ഒരു നിശ്ചല ചിത്രം മാത്രമേ വരയ്ക്കാൻ കഴിയുമായിരുന്നുള്ളൂ: ഒരു മനോഹരമായ മലനിരയോ ചിരിക്കുന്ന ഒരു യാത്രികന്റെ ഫോട്ടോയോ. എന്നാൽ ഇന്ന് സാങ്കേതികവിദ്യ വലിയൊരു കുതിച്ചുചാട്ടം നടത്തിയിരിക്കുന്നു; 'മഴവെള്ളക്കെട്ടിലൂടെ ചാടുന്ന ഒരു നായക്കുട്ടി' എന്ന് എഴുതിക്കൊടുത്താൽ മാത്രം മതി, വെള്ളം തെറിക്കുന്നതും രോമങ്ങൾ ഇളകുന്നതുമായ ലൈവ് വീഡിയോ നിമിഷങ്ങൾക്കകം നിർമ്മിക്കപ്പെടുന്നു. വാക്കുകളിൽ നിന്ന് ഇത്തരം ചലനങ്ങൾ ഉണ്ടാക്കിയെടുക്കുന്നത് വലിയൊരു ഗണിതശാസ്ത്ര നേട്ടമാണ്.

24 കളിമൺ ശില്പങ്ങളും കറങ്ങുന്ന ചിത്രക്കൂടും (സോയിട്രോപ്പ്)

ചലനം എങ്ങനെയാണ് ഉണ്ടാകുന്നത് എന്ന് മനസ്സിലാക്കാൻ പത്തൊൻപതാം നൂറ്റാണ്ടിലെ 'സോയിട്രോപ്പ്' എന്ന ഉപകരണം ഓർക്കുക. വിടവുകളുള്ള ഒരു വട്ടപ്പെട്ടിക്കുള്ളിൽ കുതിര ഓടുന്നതിന്റെ ഇരുപത്തിനാല് ചിത്രങ്ങൾ ക്രമീകരിച്ചിരിക്കുന്നു. പെട്ടി കറക്കി വിടവുകളിലൂടെ നോക്കുമ്പോൾ കുതിര ഓടുന്നതായി തോന്നും. ഒരു ശില്പി ഇരുപത്തിനാല് കളിമൺ കുതിരകളെ പരസ്പരം ബന്ധമില്ലാതെ വെവ്വേറെ ഉണ്ടാക്കിയാൽ എന്തായിരിക്കും സംഭവിക്കുക?

ഓരോ ശില്പവും വെവ്വേറെ ഉണ്ടാക്കിയാൽ ഒരു ചിത്രത്തിൽ കുതിരയുടെ ചെവി വലുതാകും, മറ്റൊന്നിൽ വാൽ അപ്രത്യക്ഷമാകും, കാലുകൾ വിചിത്രമായി മാറും. അതുകൊണ്ട് ശില്പി ഇരുപത്തിനാല് ശില്പങ്ങളെയും ഒരു വഴക്കമുള്ള കമ്പികൊണ്ട് പരസ്പരം ബന്ധിപ്പിച്ചു. പന്ത്രണ്ടാമത്തെ ശില്പത്തിന്റെ കാൽ മുന്നോട്ട് വെക്കുമ്പോൾ പതിനൊന്നാമത്തെയും പതിമൂന്നാമത്തെയും ശില്പങ്ങളുടെ പേശികൾ കമ്പിയുടെ സഹായത്തോടെ ക്രമീകരിക്കപ്പെടുകയും ചലനത്തിൽ സ്വാഭാവികത നിലനിൽക്കുകയും ചെയ്യുന്നു.

ടെക്സ്റ്റ്-ടു-വീഡിയോ ഡിഫ്യൂഷൻ മോഡലുകൾ ഇതേ തത്വത്തിലാണ് പ്രവർത്തിക്കുന്നത്. ഓരോ ഫ്രെയിമും വെവ്വേറെ ഉണ്ടാക്കുന്നതിന് പകരം വീതിയും ഉയരവും സമയവും ചേർന്ന ഒരു ത്രിമാന ബ്ലോക്കായാണ് കമ്പ്യൂട്ടർ ഇതിനെ കാണുന്നത്. തുടക്കത്തിൽ ടിവിയിലെ തകരാറുകൾ പോലെ സ്ക്രീൻ മുഴുവൻ നോയ്സ് ആയിരിക്കും. എഴുതിക്കൊടുത്ത നിർദ്ദേശങ്ങൾക്കനുസരിച്ച് എല്ലാ ഫ്രെയിമുകളിലെയും നോയ്സ് ഒരേസമയം ക്രമേണ മായ്ച്ചുകളയുമ്പോൾ ഫ്രെയിമുകൾ മാറുന്നതിനനുസരിച്ച് വെളിച്ചവും രൂപവും മാറ്റമില്ലാതെ തുടരുന്നു.

എഐ വീഡിയോകൾ തിരിച്ചറിയാനുള്ള നാല് പ്രധാന ലക്ഷണങ്ങൾ

ഈ വീഡിയോകൾ കാണാൻ ആകർഷകമാണെങ്കിലും യഥാർത്ഥ ലോകത്തിലെ ഭൗതിക നിയമങ്ങൾ പൂർണ്ണമായി മനസ്സിലാക്കാൻ കമ്പ്യൂട്ടറുകൾക്ക് കഴിയാത്തതിനാൽ ചില അപാകതകൾ ഉണ്ടാകും:

  • ശരീരഭാഗങ്ങൾ ഉരുകിപ്പോവുകയോ മാറുകയോ ചെയ്യുക: കൈകാലുകളിലേക്ക് ശ്രദ്ധിക്കുക; ചലനത്തിനിടയിൽ വിരലുകളുടെ എണ്ണം കൂടുകയോ കൈകൾ വസ്ത്രത്തിനുള്ളിലേക്ക് അലിഞ്ഞുപോവുകയോ ചെയ്യുന്നത് കാണാം.
  • ഗുരുത്വാകർഷണത്തിലും വെള്ളത്തിന്റെ തെറിക്കലിലുമുള്ള പൊരുത്തക്കേടുകൾ: വെള്ളത്തുള്ളികൾ മുകളിലേക്ക് തെറിക്കുകയോ വായുവിൽ നിശ്ചലമാവുകയോ ചെയ്യുന്നതും വീഴുന്ന വസ്തുക്കൾക്ക് ഭാരമില്ലാത്തതുപോലെ തോന്നുന്നതും പതിവാണ്.
  • പശ്ചാത്തലത്തിലെ കെട്ടിടങ്ങൾ ഇളകുക: ക്യാമറ തിരിയുമ്പോൾ പശ്ചാത്തലത്തിലുള്ള ജനലുകളും ബോർഡുകളിലെ അക്ഷരങ്ങളും ഓരോ ഫ്രെയിമിലും നേരിയ രീതിയിൽ തരംഗരൂപത്തിൽ മാറിക്കൊണ്ടിരിക്കും.
  • വസ്തുക്കൾ പരസ്പരം തടസ്സമില്ലാതെ തുളച്ചുകയറുക: ഒരാൾ ഗ്ലാസ് എടുക്കുമ്പോഴോ വാതിൽ തുറക്കുമ്പോഴോ വിരലുകൾ ഗ്ലാസിനുള്ളിലേക്ക് തുളച്ചുകയറുന്ന തരത്തിലുള്ള തകരാറുകൾ ഉണ്ടാകുന്നു.

വീഡിയോകളുടെ വിശ്വാസ്യത പരിശോധിക്കാനുള്ള പ്രായോഗിക വഴികൾ

സോഷ്യൽ മീഡിയയിൽ പ്രചരിക്കുന്ന വീഡിയോകൾ കാണുമ്പോൾ ഇവ ശ്രദ്ധിക്കുക:

  • വീഡിയോയുടെ വേഗത കുറച്ച് ചലനങ്ങൾ സൂക്ഷ്മമായി കാണുക: സ്ക്രീൻഷോട്ടിൽ ചിത്രം ശരിയായി തോന്നാമെങ്കിലും വേഗത പകുതിയാക്കി നോക്കുമ്പോൾ കാലുകൾ നിലത്തു തൊടുന്നതിലെ തകരാറുകൾ വ്യക്തമാകും.
  • വെളിച്ചത്തിന്റെയും നിഴലിന്റെയും ദിശ പരിശോധിക്കുക: ചലിക്കുന്ന വാഹനത്തിന്റെയോ മൃഗത്തിന്റെയോ നിഴൽ സൂര്യന്റെ സ്ഥാനവുമായി യോജിക്കുന്നുണ്ടോ എന്ന് നോക്കുക.
  • ഡിജിറ്റൽ വാട്ടർമാർക്കുകൾ (C2PA) ഉണ്ടോ എന്ന് പരിശോധിക്കുക: വീഡിയോ യഥാർത്ഥ ക്യാമറയിൽ എടുത്തതാണോ എഐ ഉണ്ടാക്കിയതാണോ എന്ന് വ്യക്തമാക്കുന്ന സാങ്കേതിക വിവരങ്ങൾ പരിശോധിക്കുക. ഒപ്പം പുതിയ ആശയങ്ങൾ ആവിഷ്കരിക്കാൻ ഈ ടൂളുകൾ ഉപയോഗിക്കുക, കാരണം ആശയങ്ങൾ ദൃശ്യവൽക്കരിക്കാനും തയ്യാറെടുപ്പുകൾക്കും എഐ പ്രയോജനപ്പെടുത്താം, പക്ഷേ അന്തിമ സൃഷ്ടികൾക്ക് മനുഷ്യന്റെ പങ്കാളിത്തം ഉറപ്പാക്കുക.

നിഴൽനാടകങ്ങളിൽ നിന്ന് തുടങ്ങി സിനിമാ സ്ക്രീനുകളിലൂടെ വളർന്ന ദൃശ്യകല എഐയിലൂടെ പുതിയൊരു തലത്തിലെത്തിയിരിക്കുന്നു. ഈ മാറ്റങ്ങൾ മനസ്സിലാക്കുന്നത് വഴി വ്യാജ ദൃശ്യങ്ങളിൽ പെട്ടുപോകാതെ പുതിയ സാങ്കേതികവിദ്യയെ ശരിയായി പ്രയോജനപ്പെടുത്താൻ നമുക്ക് കഴിയും.

എഐ നിർമ്മിത വീഡിയോകളിൽ വെളിച്ചത്തിന്റെ ദിശ, വെള്ളത്തിന്റെയോ വസ്ത്രങ്ങളുടെയോ ചലനം, പശ്ചാത്തലത്തിലെ ആളുകളുടെ വിരലുകൾ എന്നിവയിൽ കൃത്രിമത്വം കാണാൻ സാധിക്കും. സംശയാസ്പദമായ വാർത്തകളോ ദൃശ്യങ്ങളോ കാണുമ്പോൾ പെട്ടെന്ന് വിശ്വസിക്കാതെ വിശ്വസനീയമായ വാർത്താ മാധ്യമങ്ങളിലൂടെ സ്ഥിരീകരിക്കുക.

സോഷ്യൽ മീഡിയയിൽ ഷെയർ ചെയ്യുന്നതിന് മുൻപ് സത്യമാണെന്ന് ഉറപ്പുവരുത്തുന്നത് വ്യാജവാർത്തകൾ തടയാൻ സമൂഹത്തെ സഹായിക്കും.

വീഡിയോയിലെ ശബ്ദവും ചുണ്ടുകളുടെ ചലനവും തമ്മിലുള്ള പൊരുത്തക്കേടുകൾ ശ്രദ്ധിക്കുക. എഐ നിർമ്മിത വീഡിയോകളിൽ പലപ്പോഴും ശബ്ദത്തിന്റെ താളത്തിനൊത്ത് ചുണ്ടുകൾ സ്വാഭാവികമായി ചലിക്കാറില്ല.

വിവരങ്ങൾ കൃത്യമായി പരിശോധിച്ച ശേഷം മാത്രം മറ്റുള്ളവരുമായി പങ്കുവെക്കുക.

ഡിജിറ്റൽ യുഗത്തിൽ കാണുന്നതെല്ലാം കണ്ണടച്ച് വിശ്വസിക്കാതിരിക്കുക. ആധികാരിക സ്രോതസ്സുകളിലൂടെ മാത്രം വിവരങ്ങൾ ഉറപ്പുവരുത്തുന്നത് സമൂഹത്തിൽ സത്യം നിലനിൽക്കാൻ സഹായിക്കും. സാങ്കേതിക വിദ്യയുടെ നല്ല വശങ്ങൾ സ്വീകരിക്കുക, ചതിക്കുഴികളെ തിരിച്ചറിയുക. സാങ്കേതിക വിപ്ലവത്തിൽ എപ്പോഴും നിങ്ങളുടെ യുക്തിബോധം സജീവമായി സൂക്ഷിക്കുന്നത് വലിയ തെറ്റുകൾ ഒഴിവാക്കാൻ സഹായിക്കും. ശരിയായ അറിവോടെ ഡിജിറ്റൽ ലോകത്തെ നോക്കിക്കാണുന്നത് നിങ്ങൾക്ക് പൂർണ്ണ സംരക്ഷണം നൽകും.

ഉറവിടങ്ങൾ
  1. Spatio-Temporal Video Diffusion and Temporal Attention ArchitecturesCVPR
  2. Generative Video Synthesis and Physical Motion ContinuityACM SIGGRAPH
  3. Content Credentials and Metadata Specifications for Synthetic MediaC2PA