പേജുകളിൽ ഒളിഞ്ഞുകിടക്കുന്ന രഹസ്യങ്ങൾ: പെർപ്ലക്സിറ്റിയും ക്ലൗഡ്ഫ്ലെയറും
ഇന്ന്, 2025 ഓഗസ്റ്റ് 4, കൃത്യം ഉച്ചയ്ക്ക് 1 മണിക്ക്, ക്ലൗഡ്ഫ്ലെയർ എന്ന വലിയ കമ്പനി ഒരു പ്രധാന കാര്യം ലോകത്തോട് പറഞ്ഞു. അവരുടെ ബ്ലോഗിൽ അവർ എഴുതി, “പെർപ്ലക്സിറ്റി ഒളിഞ്ഞുനോക്കുന്ന ക്രാളറുകൾ ഉപയോഗിച്ച് വെബ്സൈറ്റുകൾ എന്റെ പേജുകൾ കാണരുത് എന്ന് പറയുന്ന നിർദ്ദേശങ്ങളെ മറികടക്കുന്നു.”
ഇതെന്താണ് ഇങ്ങനെ പറയുന്നത് എന്ന് നമുക്ക് ലളിതമായി മനസ്സിലാക്കാം.
ഇന്റർനെറ്റ് ഒരു വലിയ ലൈബ്രറി പോലെയാണ്.
നമ്മൾ പലപ്പോഴും ലൈബ്രറിയിൽ പോയി പുസ്തകങ്ങൾ വായിക്കാറില്ലേ? അതുപോലെയാണ് ഇന്റർനെറ്റും. ഇന്റർനെറ്റിൽ ലക്ഷക്കണക്കിന് വെബ്സൈറ്റുകൾ ഉണ്ട്. ഓരോ വെബ്സൈറ്റും ഒരു പുസ്തകം പോലെയാണ്. ഈ വെബ്സൈറ്റുകളിൽ എന്തെല്ലാം വിവരങ്ങളുണ്ട് എന്ന് കണ്ടെത്താനാണ് “ക്രാളറുകൾ” സഹായിക്കുന്നത്.
ക്രാളറുകൾ എന്നാൽ യന്ത്രമനുഷ്യന്മാർ!
ക്രാളറുകൾ വളരെ പ്രത്യേകതയുള്ള യന്ത്രമനുഷ്യരാണ്. അവർ റോബോട്ടുകൾ പോലെയാണ്. ഈ റോബോട്ടുകൾ ഇന്റർനെറ്റിൽ സഞ്ചരിച്ച് ഓരോ വെബ്സൈറ്റും തുറന്ന്, അതിലെ വിവരങ്ങൾ ശേഖരിക്കും. പിന്നീട് ഈ വിവരങ്ങളെല്ലാം അവർ ഒരു വലിയ ഡാറ്റാബേസിൽ സൂക്ഷിക്കും. നമ്മൾ ഗൂഗിളിലോ മറ്റെന്തെങ്കിലും സെർച്ച് എഞ്ചിനിലോ എന്തെങ്കിലും തിരയുമ്പോൾ, ഈ ഡാറ്റാബേസിൽ നിന്നാണ് വിവരങ്ങൾ നമുക്ക് കിട്ടുന്നത്.
“എന്റെ പേജുകൾ കാണരുത്” എന്ന് പറയുന്ന നിയമങ്ങൾ!
ചില വെബ്സൈറ്റുകൾക്ക് അവരുടെ ചില പേജുകൾ ക്രാളറുകൾ കാണുന്നത് ഇഷ്ടമായിരിക്കില്ല. ഒരു ലൈബ്രറിയിൽ ചില പുസ്തകങ്ങൾ ചിലർക്ക് മാത്രം വായിക്കാൻ കൊടുക്കുന്നതുപോലെ. അങ്ങനെയുള്ള സമയത്ത്, വെബ്സൈറ്റ് ഉടമകൾ ക്രാളറുകൾക്ക് ഒരു നിർദ്ദേശം കൊടുക്കും. ആ നിർദ്ദേശം ഇങ്ങനെയാണ്: “ഈ പേജുകൾ നിങ്ങൾ കാണരുത്, ഇതിലെ വിവരങ്ങൾ ശേഖരിക്കരുത്.” ഇത് ഒരുതരം “നോ-ക്രാൾ” (no-crawl) നിർദ്ദേശമാണ്.
പെർപ്ലക്സിറ്റിയും ക്ലൗഡ്ഫ്ലെയറും തമ്മിൽ എന്ത് ബന്ധം?
ഇവിടെയാണ് ക്ലൗഡ്ഫ്ലെയർ പറഞ്ഞ പ്രധാന കാര്യം വരുന്നത്. പെർപ്ലക്സിറ്റി (Perplexity) എന്നത് ഒരു പുതിയതരം സെർച്ച് എഞ്ചിൻ ആണ്. അത് വിവരങ്ങൾ കണ്ടെത്താൻ വേണ്ടി ക്രാളറുകളെ ഉപയോഗിക്കുന്നു. എന്നാൽ ക്ലൗഡ്ഫ്ലെയർ പറയുന്നത്, പെർപ്ലക്സിറ്റി ഈ “നോ-ക്രാൾ” നിർദ്ദേശങ്ങളെ മാനിക്കുന്നില്ല എന്നാണ്.
എന്താണ് പെർപ്ലക്സിറ്റി ചെയ്യുന്നത്?
പെർപ്ലക്സിറ്റി സാധാരണയായി ഉപയോഗിക്കുന്ന ക്രാളറുകൾക്ക് പകരം, വേറെ ചിലതരം ക്രാളറുകളെ ഉപയോഗിക്കുന്നു എന്നാണ് ക്ലൗഡ്ഫ്ലെയർ പറയുന്നത്. ഈ ക്രാളറുകൾ വേഷം മാറിയെത്തുന്നവരാണ്. അതായത്, സാധാരണയായി ക്രാളറുകൾ തങ്ങൾ ആരാണെന്ന് വെബ്സൈറ്റുകൾക്ക് കാണിച്ചു കൊടുക്കും. എന്നാൽ പെർപ്ലക്സിറ്റിയുടെ ക്രാളറുകൾ തങ്ങൾ ആരാണെന്ന് മറച്ചുവെക്കുന്നു. അവർ സാധാരണ ആളുകൾ വെബ്സൈറ്റുകൾ കാണുന്നതുപോലെയാണ് പെരുമാറുന്നത്.
ഇതുവഴി, വെബ്സൈറ്റുകൾക്ക് ഇത് ഒരു സാധാരണ ഉപയോക്താവാണോ അതോ ഒരു ക്രാളറാണോ എന്ന് തിരിച്ചറിയാൻ കഴിയില്ല. അതുകൊണ്ട്, “എന്റെ പേജുകൾ കാണരുത്” എന്ന് പറയുന്ന നിയമങ്ങൾ ഇവയ്ക്ക് ബാധകമാവില്ല.
ഇതെന്തുകൊണ്ട് പ്രശ്നമാണ്?
- സ്വകാര്യതയുടെ ലംഘനം: ഓരോ വെബ്സൈറ്റിനും അവരുടെ സ്വകാര്യത സംരക്ഷിക്കാൻ അവകാശമുണ്ട്. ഒരു വെബ്സൈറ്റ് അവരുടെ ചില വിവരങ്ങൾ പുറത്തുവരുന്നത് ഇഷ്ടപ്പെടുന്നില്ലെങ്കിൽ, അതിനെ ബഹുമാനിക്കണം. പെർപ്ലക്സിറ്റിയുടെ ഈ പ്രവർത്തി വെബ്സൈറ്റുകളുടെ സ്വകാര്യതയെ ലംഘിക്കുന്നതായി ക്ലൗഡ്ഫ്ലെയർ പറയുന്നു.
- നിയമങ്ങളെ വളച്ചൊടിക്കുന്നു: വെബ്സൈറ്റുകൾ ഉണ്ടാക്കുന്നവരുടെ നിയമങ്ങളെ ലംഘിക്കുകയാണ് ഇത്. ഇത് ശരിയായ രീതിയല്ല.
- വിവരങ്ങളുടെ ദുരുപയോഗം: ചിലപ്പോൾ ഇങ്ങനെ ശേഖരിക്കുന്ന വിവരങ്ങൾ ദുരുപയോഗം ചെയ്യപ്പെടാം.
നമ്മൾ എന്താണ് ഇതിൽ നിന്ന് പഠിക്കേണ്ടത്?
- ഇന്റർനെറ്റിലെ നിയമങ്ങൾ: ഇന്റർനെറ്റും ഒരു സമൂഹമാണ്. ഇവിടെയും നിയമങ്ങളും ചട്ടങ്ങളും ഉണ്ട്. അവയെല്ലാം നമ്മൾ പാലിക്കണം.
- സത്യസന്ധത: വിവരങ്ങൾ ശേഖരിക്കുന്ന കാര്യത്തിൽ സത്യസന്ധത പുലർത്തണം.
- സാങ്കേതികവിദ്യയും ധാർമ്മികതയും: പുതിയ സാങ്കേതികവിദ്യകൾ ഉപയോഗിക്കുമ്പോൾ, അവ ധാർമ്മികമായി ശരിയാണോ എന്ന് ചിന്തിക്കണം.
ഈ സംഭവം നമുക്ക് കാണിച്ചുതരുന്നത്, സാങ്കേതികവിദ്യയുടെ ലോകത്ത് പലപ്പോഴും രഹസ്യങ്ങളും വെല്ലുവിളികളും ഉണ്ടാവാം എന്നാണ്. ക്ലൗഡ്ഫ്ലെയർ പോലുള്ള കമ്പനികൾ ഇത് പുറത്തുകൊണ്ടുവരുന്നത് നമ്മുടെ വിവരങ്ങൾ സുരക്ഷിതമായിരിക്കാൻ സഹായിക്കും. ഇത് ശാസ്ത്രത്തെക്കുറിച്ചും സാങ്കേതികവിദ്യയെക്കുറിച്ചും കൂടുതൽ അറിയാൻ നമ്മെ പ്രേരിപ്പിക്കും. നാളെ നമ്മളിൽ പലരും ഇത്തരം വിഷയങ്ങളിൽ പ്രവർത്തിക്കുന്നവരാകാം. അപ്പോൾ ഈ ധാർമ്മിക കാര്യങ്ങൾ ഓർക്കുന്നത് വളരെ പ്രധാനമാണ്.
Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives
AI വാർത്ത നൽകി.
Google Gemini യിൽ നിന്ന് പ്രതികരണം നേടാൻ താഴെ പറയുന്ന ചോദ്യമാണ് ഉപയോഗിച്ചിരിക്കുന്നത്:
2025-08-04 13:00 ന്, Cloudflare ‘Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives’ പ്രസിദ്ധീകരിച്ചു. ദയവായി ബന്ധപ്പെട്ട വിവരങ്ങളോടൊപ്പം ഒരു വിശദമായ ലേഖനം ലളിതമായ ഭാഷയിൽ എഴുതുക, അത് കുട്ടികൾക്കും വിദ്യാർത്ഥികൾക്കും മനസ്സിലാക്കാൻ കഴിയണം, അതുവഴി കൂടുതൽ കുട്ടികൾക്ക് ശാസ്ത്രത്തിൽ താല്പര്യം വളർത്താനാകും. ദയവായി മലയാളത്തിൽ മാത്രം ലേഖനം നൽകുക.