ഇതിനെ പറ്റി ഞാന്‍ മുമ്പ് പറഞ്ഞതുതന്നെ ഇപ്പോഴും പറയാനുള്ളത്‌ ഡാറ്റയെ ഇന്റര്‍പ്രറ്റ് ചെയ്യുന്നവര്‍ ഡാറ്റയുടെ ഉപയോഗമില്ലാത്ത ഭാഗങ്ങള്‍ ഒഴിവാക്കും. ഉദാഹരണമായി, PNG ഇമേജിനെ സ്ക്രീനില്‍ വരയ്ക്കുമ്പോള്‍ (BMP) ലെയറുകളും ട്രാന്‍സ്പാരന്‍സിയും പോകുന്നപോലെ. ഡാറ്റയെ ഇന്റര്‍പ്രറ്റ് ചെയ്യാത്തവര്‍ ഇന്‍ഫൊര്‍മേഷന്‍ കളയരുത്‌ എന്നത്‌ സമ്മതിക്കുന്നു. പക്ഷെ, ഇവിടെ നമ്മള്‍ ചര്‍ച്ച ചെയ്തുകൊണ്ടിരുന്നതുമുഴുവന്‍ ലിംഗ്വിസ്റ്റിക് ഡാറ്റയെ ഇന്റര്‍പ്രറ്റ് ചെയ്യുന്ന പ്രോഗ്രാമുകളെയാണ്.

ഒരു കാര്യം കൂടി പറഞ്ഞോട്ടെ, ചില്ലിനെ പറ്റി ഇനി നമ്മള്‍ ചര്‍ച്ച ചെയ്തിട്ട് കാര്യമുണ്ടെന്ന്‌ തോന്നുന്നില്ല. ചില്ലുകള്‍ അടുത്ത യുണീക്കോഡ് വെര്‍ഷനില്‍ എത്തിക്കഴിഞ്ഞു.

വെബ്‌ദുനിയയുടെ സേര്‍ച്ച് എഞ്ചിനെപ്പറ്റി അറിയില്ലായിരുന്നു. കൊള്ളാം. സേര്‍ച്ച് റിസല്‍ട്സ് കാണിക്കുമ്പോള്‍ സേര്‍ച്ച് വേര്‍ഡ് ഹൈലൈറ്റു ചെയ്തു കാണിക്കുന്നില്ലല്ലോ പല കേസുകളിലും? സേര്‍ച്ച് വേര്‍ഡ് സ്പ്ലിറ്റു ചെയ്തു വെവ്വേറേ സേര്‍ച്ചു ചെയ്യുന്നതു (കണ്മണി പോലെ) കൊണ്ടാണോ അതു്?

മറ്റു സേര്‍ച്ച് എഞ്ചിനുകളുടെ രീതിയില്‍ അനലൈസ് ചെയ്യാന്‍ നോക്കിയപ്പോഴാണു് വെബ്‌ദുനിയാ മറ്റൊരു രീതിയിലാണു സേര്‍ച്ചു ചെയ്യുന്നതെന്നു കണ്ടതു്. ഭാരതീയഭാഷകള്‍ക്കു വേണ്ടി കൂടുതല്‍ ഇന്റലിജന്‍സ് ഉള്ളതായും തോന്നി. അതുകൊണ്ടായിരുന്നു ആ പരാമര്‍ശം.

വിശദമായ കമന്റിനു നന്ദി. ഞാന്‍ മുഴുവന്‍ വായിച്ചു തീര്‍ന്നില്ല. ഒരു കാര്യം പറയാനാണു് ഇതെഴുതുന്നതു്. ഡോ. മഹേഷിന്റെ ലേഖനം സ്കാന്‍ ചെയ്യണമെന്നില്ല. അദ്ദേഹം തന്നെ അതു് ഇവിടെ ഇട്ടിട്ടുണ്ടു്. അതു തന്നെയല്ലേ ലേഖനം?

Now suppose the system A as a whitebox. We know the functionality of A
Now we are going the anlayse how the system process I and how it produces O. Inside A, we know that there are processing stages
for input I. Assume that it goes through steps like I[1]. I[2], I[3]
etc..
and one of this , say I[k] is going to be the input of a subsystem A
[k] in A. And it produces an ouput O.
Now in the ouput , do we expect the statement
a) “Here is O, and this is the output of I[k]”
or
b)”Here is O, and this is the output of I”

IMHO, it is b)
Umeshji, Do you disagree with this?
Now substitute സ്വപ്‌നം (with Non joiner ) for I and a search system for A

OK, Now I am going to expand out I to S[1..n]
where S is a string with length n. and Length of S is defined as the number of bytes required to save S.
The application A takes S as input. The functionality of A demands processing/converting S[1..n] to many interemediate formats and these are going to be the input for different subsytems inside A.
Suppose at a particular stage k of A, say A[k]. A[k] changes S[1..n] to R[1..m] and
a) S==R or S!=R
b) n==m or n!=m
Now in the ouput , do we expect the statement
a) “Here is O, and this is the output of R[1..m]”
or
b) “Here is O, and this is the output of S[1..n]”
Now substitute സ്വപ്‌നം (with Non joiner ) for I and a search system for A
consider S[1..n] to R[1..m] convertion as a collation key conversion of S. As per unicode, the collation weight of ZWJ/ZWNJ is zero.

Next is to answer Cibu.
There is a sequence of applications A1 to An in an information network. UserA sends some data to UserB through this network.
Assume that one or more application in A1..An in the network is same as our previous A which converts S to R. Now there are many cases
a) UserA and UserB expects the data send by UserA is “same” as UserB recieves and that is why the network exists.
b) Now we need to define the word “same”. It depends on how a user
compares data1 to data2 to check whether data2 is same as data1. There are different ways for doing this. one way is to check the
size of data1 to data2. size of a data is defined as number of bytes required to save the data. Now if A[k] changes S[1..n] to R[1..m]
where n!=m, the size(data1)!= size(data2). If it is comparing data1 to data1 byte by byte, then also data1!=data2. Suppose the
comparison is done using unicodes standard by ignoring ZWJ/ZWNJ, and it is exaclty what S to R conversion, then data1 =data 2.

c) In the above case, if S to R conversion is done for the sake of processing an input to output and output says that it is not I , but I[k]was the input, and if that is buggy, then there is no point in saying that data1=data2
d) in case b, we found that the comparison is not always done by following Unicode rules. Many applications do not want to open the
file and do comparison. They just check the file size.

e) As a last point I want to mention about the mime type change or simply the file type change of data as Cibu explained with Notepad
->M$ word comparison. Suppose the user writes a ZWJ or ZWNJ in plain text. First of all why does he write it? If he knows that bold
or italics or underline does not work with plaintext, he will not write that characters in it. Am I right? So a normal user does not put bold italics or any other formating characters in plain text. But he writes
ZWJ/ZWNJ in that. Why? Knowing that any bug-free application (yes, I know that “at any point of time there is one more bug in any software”) will not ignore them while transferring data from one mimetype to another. He also knows that for processing inside application, the ZWJ or ZWNJ may not be used. But data remains as such. So your comparison of ZWJ/ZWNJ with italics or bold is wrong.

Now regarding the Zero collation weight of ZWJ and ZWNJ. It is the best way to implement an application which says the following pairs
are “same”
a) നന്മ നന്‍‌മ നന്‌മ
b)ബ്രഹ്മം ബ്രഹ്‌മം
c)റഹ്മാന്‍ റഹ്‌മാന്‍
d)തമിഴ്‌നാട് തമിഴ്നാട്
etc
ഓര്‍ക്കുക ഞാനൊന്നും ന്യായീകരിക്കാന്‍ ശ്രമിച്ചിട്ടില്ല. പകരം എന്റെ
അഭിപ്രായത്തില്‍ അപ്ലിക്കേഷനുകള്‍ ഐഡിയലായി എങ്ങനെ പെരുമാറണം എന്നു മാത്രമാണ് പറഞ്ഞത്. ഇതിനോടുള്ള ഉമേഷ്ജിയുടെ അഭിപ്രായം അറിഞ്ഞ ശേഷം ബാക്കി കാര്യങ്ങളിലേക്ക് പോകാം.
ഇനി വേറെ ചില കാര്യങ്ങള്‍:
നമ്മള്‍ ചര്‍ച്ച ചെയ്തിട്ട് എന്തെങ്കിലും കാര്യമുണ്ടോന്ന് തോന്നുന്നുണ്ടോ
ഉമേഷ്ജിയ്ക്ക്? “It is already decided. Let us face whatever be the impact” ഇതിനോടു് ഉമേഷ്ജിക്ക് എന്താണു് പറയാനുള്ളതു്?
വേറൊന്നു്:
ആണവചില്ലു് വിവാ‍ദത്തിന്റെ വിവിധവശങ്ങളെക്കുറിച്ചു് ഡോ: മഹേഷ് മംഗലാട്ട് മാഷ് മാതൃഭൂമി ആഴ്ചപ്പതിപ്പില്‍ ലേഖനമെഴുതിയിരിക്കുന്നു. സമയം
കിട്ടുകയാണെങ്കില്‍ ഞാന്‍ സ്കാന്‍ ചെയ്ത് ബ്ലോഗിലിടാം.

ഒന്നു്, ഇവിടെ ചോദിക്കുന്ന ചോദ്യങ്ങള്‍ക്കു് ഞാന്‍ തന്നെ മറുപടി പറയണം എന്നു ചിലര്‍ ശാഠ്യം പിടിക്കുന്നതു് ഇവിടെയും പിന്നെ ഈ പോസ്റ്റിന്റെ കമന്റുകളിലും മറ്റു പലയിടത്തും കണ്ടു. അങ്ങനെയല്ല ഞാന്‍ ഇതിനു മുമ്പും ബ്ലോഗ് കൈകാര്യം ചെയ്തിരുന്നതു്.

ഉദാഹരണമായി എന്റെ ന സ്ത്രീ സ്വാതന്ത്ര്യമര്‍ഹതി എന്ന പോസ്റ്റിലെ ഉള്ളടക്കത്തെപ്പറ്റി ധാരാളം പേര്‍ വിയോജിപ്പു പ്രകടിപ്പിച്ചിരുന്നു. ആളുകള്‍ രണ്ടു പക്ഷമായി നിന്നു ഘോരഘോരം വാദിച്ചു. ആദ്യത്തെ 44 കമന്റുകളില്‍ (മൊത്തം 62 കമന്റുകള്‍) ഞാന്‍ എഴുതിയതു് ഒന്നു മാത്രമാണു് (ആദ്യത്തേതു് ഒഴിച്ചാല്‍). അതില്‍ത്തന്നെ കാര്യമായി ഒന്നിനും മറുപടി പറഞ്ഞുമില്ല. അവിടെ കമന്റിട്ട ആരും “ഉമേഷ് തന്നെ മറുപടി പറയണം” എന്നു പറഞ്ഞു കേട്ടില്ല. എതിര്‍‌വാദങ്ങളെ ആളുകള്‍ ശക്തമായിത്തന്നെ എതിര്‍ത്തു. എതിര്‍പ്പു വാദങ്ങളോടായിരുന്നു. വാദിക്കുന്ന ആളുകളോടായിരുന്നില്ല. ആളുകള്‍ കൊടുക്കുന്ന മറുപടികളോടു് ഒന്നും കൂട്ടിച്ചേര്‍ക്കാനില്ലെങ്കില്‍ ഞാന്‍ കമന്റിടാന്‍ മിനക്കെട്ടില്ല.

ഈ വാദത്തില്‍ നിന്നു് എന്റെ ചില അഭിപ്രായങ്ങള്‍ക്കു മാറ്റവും സംഭവിച്ചു. രണ്ടു പക്ഷത്തെയും വാദങ്ങള്‍ കേള്‍ക്കുക വഴി പ്രശ്നത്തെപ്പറ്റി കൂടുതല്‍ അറിയാനും സാധിച്ചു. ഇവയെല്ലാം വേറൊരു പോസ്റ്റില്‍ ക്രോഡീകരിച്ചു് മറുപടി പറയേണ്ടവയ്ക്കു മറുപടി പറഞ്ഞു. (തര്‍ക്കം അവിടെയും തുടര്‍ന്നു.)

അന്നു കൂടുതല്‍ സമയമുണ്ടായിരുന്നതിനാല്‍ അതു മൂന്നു ദിവസത്തിനുള്ളില്‍ സാധിച്ചു. എന്നാല്‍ ചിത്രകാരന്റെ ഈ പോസ്റ്റില്‍ നടന്ന സംവാദത്തിന്റെ മറുപടി എഴുതിയതു് ഒന്നര മാസത്തിനു ശേഷം ഇവിടെ ആണു്.

ഇതു തന്നെയാണു് ഇവിടെയും ചെയ്യാന്‍ ഉദ്ദേശിക്കുന്നതു്. ഇതില്‍ നിന്നു പഠിച്ച കാര്യങ്ങളെ അവലംബിച്ചു് മറ്റൊരു പോസ്റ്റെഴുതാം. എന്റെ അഭിപ്രായങ്ങള്‍ മാറിയിട്ടുണ്ടെങ്കില്‍ അതും സൂചിപ്പിക്കാം. ഈ വാദം പണ്ടു നടന്ന ചില പോസ്റ്റുകളും ഡോ. മഹേഷ് മംഗലാട്ടിന്റെ പുതിയ പോസ്റ്റും ഇതിനിടെ വായിക്കാന്‍ സാധിച്ചു. ഇവയിലെ വാദങ്ങളെല്ലാം അടുത്ത പോസ്റ്റില്‍ പരാമര്‍ശിക്കാം.

അതിനിടയില്‍ പൂര്‍വ്വവൈരാഗ്യം മൂലം മറ്റാരെങ്കിലും പറയുന്നതു കേള്‍ക്കാന്‍ സന്മനസ്സില്ലെങ്കില്‍ എനിക്കൊന്നും ചെയ്യാന്‍ പറ്റില്ല. അതു മൂലം ഈ ത്രെഡ്ഡോ ബ്ലോഗോ ബോയ്ക്കോട്ട് ചെയ്യാന്‍ തീരുമാനിച്ചാലും എനിക്കു വിരോധമില്ല.

രണ്ടു്, കൊലേഷനെപ്പറ്റി പ്രവീണ്‍ നടത്തുന്ന ക്വിസ് പ്രോഗ്രാം ആണു്. അദ്ദേഹത്തിന്റെ ആദ്യത്തെ ചോദ്യം ഞാന്‍ തെറ്റിദ്ധരിച്ചു മറുപടി പറഞ്ഞു. പിന്നീടാണു മനസ്സിലായതു് “ഊതുക” ആയിരുന്നെന്നു്. ഇത്തരം ചോദ്യങ്ങള്‍ക്കു് ഉത്തരം പറയാന്‍ ഞാന്‍ ഉദ്ദേശിച്ചിട്ടില്ല. കൊലേഷനെപ്പറ്റി അത്യാവശ്യം വിവരം എനിക്കുണ്ടെന്നാണു് എന്റെ വിശ്വാസം. പക്ഷേ, അതു് പ്രവീണിന്റെ ക്വിസ് പ്രോഗ്രാമിലെ ഓരോ ചോദ്യത്തിനും സ്കൂള്‍ കുട്ടികളെപ്പോലെ മറുപടി പറഞ്ഞു തെളിയിക്കേണ്ട ആവശ്യമില്ല. ആവശ്യമുള്ളതും വായിക്കുന്നവര്‍ക്കു മനസ്സിലാകുന്നതുമായ കാര്യങ്ങളേ ഞാന്‍ എഴുതാന്‍ ഉദ്ദേശിക്കുന്നുള്ളൂ.

ക്വിസ് പ്രോഗ്രാം തന്നെ വേണമെങ്കില്‍ ഞാന്‍ പ്രവീണിനോടും ചോദിക്കാം, വ്യഞ്ജനങ്ങളെപ്പറ്റിയും ചില്ലിനെപ്പറ്റിയും അനുനാസികാദിപ്രസരത്തെപ്പറ്റിയും പേരെച്ചത്തെപ്പറ്റിയുമൊക്കെ. അല്ലെങ്കില്‍ വേണ്ട, പ്രവീണ്‍ ചോദിച്ചതു പോലെ തുടങ്ങാം: “മലയാളത്തിലെ ആദ്യത്തെ അക്ഷരമേതു്?” അതിനുത്തരം പറയാന്‍ അറിവുണ്ടെങ്കില്‍ രണ്ടാമത്തെ അക്ഷരമേതു് എന്നു ചോദിക്കാം

അതോടൊപ്പം തന്നെ, ബ്രൌസറിലെയും സേര്‍ച്ച് എഞ്ചിനുകളിലെയും ബഗ്ഗുകളും രീതികളുമല്ല നമ്മുടെ വിഷയം എന്നും ഓര്‍ക്കുക. ചില ആപ്ലിക്കേഷനുകള്‍ ജോയിനറുകളെ അവഗണിക്കുന്നുണ്ടെന്നും അതു യൂണിക്കോഡ് സ്റ്റാന്‍ഡേര്‍ഡിനു് എതിരല്ല എന്നുമാണു് ഞാന്‍ പറയാന്‍ ഉദ്ദേശിച്ച പോയിന്റ്. സേര്‍ച്ച് എഞ്ചിനുകളിലും മറ്റു് ആപ്ലിക്കേഷനുകളിലും നമുക്കു വേണ്ട ഫീച്ചറുകളെ ബഗ് ആയി റിപ്പോര്‍ട്ട് ചെയ്യുന്നതും അവ ഫിക്സു ചെയ്യിപ്പിക്കുന്നതും നല്ല കാര്യം തന്നെ.