Generative fill: ഫോട്ടോയിൽ നിന്ന് ഒരാളെ മായ്ക്കുമ്പോൾ എഐ (AI) അവിടെ എന്ത് ചേർക്കുന്നു?

നിങ്ങൾ മനോഹരമായ ഒരു വിനോദസഞ്ചാര കേന്ദ്രത്തിൽ നിന്നോ കുടുംബ വിശേഷത്തിനിടയിലോ എടുത്ത ഒരു ഫോട്ടോ നോക്കുകയാണെന്ന് സങ്കൽപ്പിക്കുക. നിങ്ങൾ ചിരിച്ചുനിൽക്കുന്ന ആ ചിത്രത്തിന്റെ പശ്ചാത്തലത്തിൽ പെട്ടെന്ന് വഴിപോക്കനായ ഒരാളോ റോഡിലെ മാലിന്യക്കൂമ്പാരമോ ഒരു ഇലക്ട്രിക് പോസ്റ്റോ കടന്നുവന്നാൽ ആ ചിത്രത്തിന്റെ ഭംഗി തന്നെ നഷ്ടപ്പെടാം. പണ്ട് ഇത്തരം അനാവശ്യ വസ്തുക്കളെ നീക്കം ചെയ്യാൻ സമീപത്തുള്ള പശ്ചാത്തലത്തിന്റെ ഭാഗങ്ങൾ പകർത്തി ഒട്ടിക്കുന്ന പഴയ രീതിയാണ് (കണ്ടന്റ്-അവെയർ ഫിൽ അഥവാ Content-Aware Fill) ഉപയോഗിച്ചിരുന്നത്; എന്നാൽ പലപ്പോഴും ആ ഭാഗം മങ്ങിയ പാടുകൾ പോലെ വ്യക്തതയില്ലാതെ കിടക്കുമായിരുന്നു.

ഇന്നത്തെ സ്മാർട്ട്‌ഫോണുകളിലും എഡിറ്റിംഗ് ആപ്പുകളിലും ലഭ്യമായ ജനറേറ്റീവ് ഫിൽ സാങ്കേതികവിദ്യ ഈ കുറവ് പരിഹരിച്ചിരിക്കുന്നു. വിരൽ കൊണ്ട് ആ ഭാഗത്ത് വെറുതെ ഒന്ന് വട്ടമിട്ടാൽ മതി, ആ വസ്തു നിമിഷങ്ങൾക്കകം മാഞ്ഞുപോവുക മാത്രമല്ല, ആ സ്ഥാനത്ത് അവിടെ ഉണ്ടായിരിക്കേണ്ട സ്വാഭാവികമായ കടൽത്തീരമോ മരക്കൂട്ടങ്ങളോ ടൈൽസ് പാകിയ തറയോ തികച്ചും സ്വാഭാവികമായി വരച്ചുചേർക്കപ്പെടുകയും ചെയ്യുന്നു.

ഒരു സമർത്ഥനായ ചിത്രകാരനെപ്പോലെ എഐ വിടവുകൾ നികത്തുന്നത് എങ്ങനെ?

ഒരു പുരാതന ചിത്രത്തിലെ കേടുവന്ന ഭാഗം നേരെയാക്കാൻ ഇരിക്കുന്ന ഒരു വിദ്ഗ്ദ്ധനായ ചിത്രകാരനെ ഓർക്കുക. അദ്ദേഹം വെറുതെ ഏതെങ്കിലും പെയിന്റ് വാരിത്തേക്കുകയല്ല ചെയ്യുന്നത്; ആ മുറിയിലെ വെളിച്ചം എവിടെ നിന്നാണ് വരുന്നത്, തറയിലെ ടൈലുകളുടെ ചരിവുകൾ എങ്ങനെ പോകുന്നു, വസ്ത്രങ്ങളുടെ മടക്കുകൾ എങ്ങോട്ടാണ് വീഴുന്നത് എന്നെല്ലാം സൂക്ഷ്മമായി നിരീക്ഷിച്ച ശേഷമേ പുതിയ നിറങ്ങൾ ചാലിക്കൂ.

നിങ്ങളുടെ സ്മാർട്ട്‌ഫോണിലെ എഐ സോഫ്റ്റ്‌വെയറും കൃത്യമായി ഇതേപോലെയാണ് പ്രവർത്തിക്കുന്നത്. ചിത്രങ്ങളിൽ കാണാത്ത ഭാഗങ്ങൾ പശ്ചാത്തലവുമായി യോജിപ്പിച്ച് സ്വാഭാവികമായി വരച്ചുചേർക്കുന്ന രീതിയാണ് ഇത് ഉപയോഗിക്കുന്നത് (ഡിഫ്യൂഷൻ ഇൻപെയിന്റിംഗ് അഥവാ Diffusion Inpainting). ഇതിനായി മങ്ങിയ ഡിജിറ്റൽ പാറ്റേണുകളിൽ നിന്ന് പുതിയ ചിത്രങ്ങൾ രൂപപ്പെടുത്തിയെടുക്കുന്ന എഐ മാതൃകകൾ (ലാറ്റന്റ് ഡിഫ്യൂഷൻ മോഡലുകൾ അഥവാ Latent Diffusion Models) പ്രവർത്തിക്കുന്നു. അനാവശ്യ മങ്ങലുകൾ പടിപടിയായി മായ്ച്ച് വ്യക്തതയുള്ള ദൃശ്യം പുറത്തെടുക്കുന്ന പ്രക്രിയയിലൂടെ (ഇറ്ററേറ്റീവ് ഡിനോയിസിംഗ് അഥവാ Iterative Denoising) കമ്പ്യൂട്ടർ പുതിയ പിക്സലുകൾ നിർമ്മിക്കുന്നു. ക്യാമറ പശ്ചാത്തലത്തിൽ നൽകുന്ന മനോഹരമായ മങ്ങലും (ബൊക്കെ അഥവാ Bokeh), ഡിജിറ്റൽ ക്യാമറ ചിത്രങ്ങളിൽ കാണുന്ന നേർത്ത തരികളും (സെൻസർ നോയിസ് അഥവാ Sensor Noise), ചിത്രങ്ങളിലെ കാഴ്ചയുടെ ചരിവുകളും നേർരേഖകളും (പെർസ്പെക്റ്റീവ് ലൈനുകൾ അഥവാ Perspective Lines) അത് കൃത്യമായി നിലനിർത്തുന്നു. ഒപ്പം തിളങ്ങുന്ന പ്രതലങ്ങളിൽ തട്ടി പ്രതിഫലിക്കുന്ന പ്രകാശത്തിളക്കവും (സ്പെക്യുലർ റിഫ്ലക്ഷൻസ് അഥവാ Specular Highlights) സ്വാഭാവികമായി നിലനിർത്തുന്നു.

നമ്മുടെ നിത്യജീവിതത്തിൽ ഈ സാങ്കേതികവിദ്യ എവിടെ സഹായിക്കുന്നു?

ഒരു കാലത്ത് വൻകിട സിനിമാ സ്റ്റുഡിയോകളിൽ മാത്രം ഉപയോഗിച്ചിരുന്ന ഈ സങ്കേതം ഇന്ന് നമ്മുടെ കൈകളിലെ സ്മാർട്ട്‌ഫോണുകളിൽ എത്തിയിരിക്കുന്നു:

• യാത്രാ ഫോട്ടോകളും കുടുംബ ചിത്രങ്ങളും മനോഹരമാക്കാൻ: പ്രിയപ്പെട്ട ചിത്രങ്ങളിൽ അനാവശ്യമായി കടന്നുവന്ന ഇലക്ട്രിക് ലൈനുകൾ, റോഡിലെ മാലിന്യങ്ങൾ, അപരിചിതരായ ആളുകൾ എന്നിവ ഒറ്റ സ്പർശത്തിൽ നീക്കം ചെയ്ത് സ്വാഭാവികമായി നികത്താം (ഡിഫ്യൂഷൻ ഇൻപെയിന്റിംഗ് അഥവാ Inpainting).
• സോഷ്യൽ മീഡിയ പോസ്റ്റുകൾക്കായി ഫോട്ടോ വികസിപ്പിക്കാൻ: ലംബമായി എടുത്ത ഫോൺ ചിത്രങ്ങൾക്ക് ഇരുവശങ്ങളിലും പുതിയ പശ്ചാത്തലം സ്വാഭാവികമായി വരച്ചുചേർത്ത് ഫോട്ടോ വിസ്തൃതമാക്കാം (ഔട്ട്പെയിന്റിംഗ് അഥവാ Outpainting).
• പഴയ ഫോട്ടോകളുടെ കേടുപാടുകൾ തീർക്കാൻ: കുടുംബത്തിലെ പഴയ ബ്ലാക്ക് ആൻഡ് വൈറ്റ് ഫോട്ടോകളിലെ മടക്കുകളും പാടുകളും മായ്ച്ച് പുതിയത് പോലെ ഭംഗിയായി സൂക്ഷിക്കാൻ സാധിക്കുന്നു.
• ഓൺലൈൻ കച്ചവടത്തിന് ഉൽപ്പന്നങ്ങളുടെ ഫോട്ടോ എടുക്കാൻ: വിൽക്കാൻ വെക്കുന്ന സാധനങ്ങളുടെ ചിത്രത്തിന് പിന്നിലെ അലങ്കോലങ്ങൾ നീക്കി പശ്ചാത്തലം വെടിപ്പുള്ളതാക്കി ആകർഷകമാക്കാൻ സഹായിക്കുന്നു.

ഉപയോഗിക്കുമ്പോൾ ശ്രദ്ധിക്കേണ്ട പ്രധാന കാര്യങ്ങൾ

ഇതൊരു വിസ്മയകരമായ സംവിധാനമാണെങ്കിലും കമ്പ്യൂട്ടറിന്റെ അനുമാനമായതിനാൽ ചില കാര്യങ്ങൾ ശ്രദ്ധിക്കേണ്ടതുണ്ട്:

• ചെറിയ ഭാഗങ്ങൾ മാത്രം തെരഞ്ഞെടുത്ത് മായ്ക്കുക: വലിയൊരു ഭാഗം ഒരുമിച്ച് നീക്കം ചെയ്താൽ കമ്പ്യൂട്ടറിന് ചുറ്റുപാടുകൾ മനസ്സിലാക്കാൻ ബുദ്ധിമുട്ടാകും; ചെറിയ ഭാഗങ്ങളായി മാറ്റുന്നത് കൂടുതൽ സ്വാഭാവികത നൽകും.
• നിഴലുകളും വരകളും കൃത്യമായി പരിശോധിക്കുക: ആളുകളെ മായ്ച്ചാലും തറയിലെ നിഴലുകൾ മായാതെ കിടക്കാൻ സാധ്യതയുണ്ട്; തറയിലെ വരകളും വെളിച്ചത്തിന്റെ ദിശയും സൂക്ഷ്മമായി പരിശോധിക്കുക.
• യഥാർത്ഥ ചിത്രങ്ങളിൽ വരുത്തിയ മാറ്റങ്ങൾ രേഖപ്പെടുത്തുക: ഫോട്ടോകളിൽ വരുത്തിയ മാറ്റങ്ങൾ വ്യക്തമാക്കുന്ന ഡിജിറ്റൽ വിവരങ്ങൾ (പ്രൊവെനൻസ് മെറ്റാഡാറ്റ അഥവാ Provenance Metadata) സൂക്ഷിക്കുന്നത് ഔദ്യോഗിക ചിത്രങ്ങളിൽ സുതാര്യത ഉറപ്പാക്കാൻ സഹായിക്കും.

ജനറേറ്റീവ് ഫിൽ ഫോട്ടോ എഡിറ്റിംഗിനെ അതിശയകരമായ ഒരു അനുഭവമാക്കി മാറ്റിയിരിക്കുന്നു. ആവശ്യമില്ലാത്ത വസ്തുക്കളെ ഒഴിവാക്കുമ്പോൾ കമ്പ്യൂട്ടർ ചിത്രത്തിന് ചേരുന്ന ഒരു പുതിയ ഭാവന അവിടെ നൽകുന്നു. ഇത് കബളിപ്പിക്കാനല്ല, മറിച്ച് ചിത്രങ്ങൾ മനോഹരമാക്കാനുള്ള ഒരു ഡിജിറ്റൽ സഹായിയാണെന്ന് മനസ്സിലാക്കിയാൽ നമുക്കിത് ആത്മവിശ്വാസത്തോടെ ഉപയോഗിക്കാം.