نظریۂ اطلاعات

وکیپیڈیا سے

اطلاعاتی نظریہ (information theory) الیکٹریکل انجنئیرننگ کی ایک ایسی شاخ ہے جو کسی پیغام میں موجود اطلاعات یا معلومات کی پیمائش کے متعلق ہے۔ اس کا آغاز معلومات کو کم سے کم جگہہ میں ذخیرہ کرنے اور محفوظ تریں طریقہ سے ریڈیائی لہریں کے ذریعے منتقل کرنے کی کوششوں سے ہوا۔

اطلاعاتی نظریے کا عملی اطلاق WinRar اور WinZip جیسے سافٹ وئیر میں ہمیں ذیادہ بہتر طور پر نظر آتا ہے جو کہ ایک بہت بڑی فائل کو بہت کم جگہہ میں سٹور کرنے کے قابل بناتے ہیں۔ اسی طرح اس تھیوری کی بدولت ہم انٹرنیٹ پر بہت کم سپیڈ کے باوجود گفتگو سن سکتے ہیں۔ طرح طرح کے ویڈیو اور آڈیو فارمیٹ اسی ٹیکنالوجی کی بنیاد پر کام کرتے ہیں جیسے .mp3 ogg gif jpeg bmp وغیرہ۔ ہر فائل فارمیٹ ہمیں معلومات کی کوالٹی اور اس کے ہارڈڈسک پر حجم کے درمیان ایک ٹریڈآف مہیا کرتا ہے۔ جیسے BMP تصویر کی کوالٹی بہتر ہو گی تو JPEG یا GIF میں وہی تصویر کم جگہہ لے گی۔

کسی پیغام کو ہم ذیادہ سے زیادہ کتنا Compress یا مختصر کر سکتے ہیں اس کا انحصار اس بات پر ہے کہ اس میں معلومات کی مقدار کتنی ہے۔ اطلاعاتی نظرئے میں معلومات کی مقدار کو (انٹروپی Entropy)کہتے ہیں۔ اور اس کی اکائی بٹ (Bit) ہے۔ بڑی اکائیاں کلو بٹ(1000 بٹس) اور میگا بٹ(1000 کلو بٹ) ہیں۔

اس تھیوری کا بنیادی نقطہ یہ ہے کہ جو الفاظ زیادہ استعمال ہوتے ہیں ان کو کم حروف سے ظاہر کیا جانا چاہیے جبکہ کم استعمال ہونے والے حروف کچھ زیادہ بڑے ہوں تو بھی مذائقہ نہیں۔ ہم دیکھتے ہیں کا ہماری اپنی زبان اردو میں تمام الفاظ برابر حروف پر مشتمل نہیں۔ بکثرت استعمال ہونے والے الفاظ عموما چھوٹے ہوتے ہیں جیسے کا' کے' کی' ہے' ہیں وغیرہ۔ ان کے مقابلے میں "دائرۃ المعارف" اور اس جیسے دوسرے کئی الفاظ جو کم استعمال ہوتے ہیں' نسبتا لمبے ہیں۔ کیا یہ بہتر نہ ہو کہ تمام الفاظ ایک سٹینڈیرڈ لمبائی کے ہوں؟ اس کا جواب ہے ' جی نہیں

جس طرح پانچوں اگلیاں برابر نہیں ہوتیں اور ہر ایک اپنی جگہہ بہترین آلہ کے طور پے موجود ہے بالکل اسی طرح کسی زبان کے الفاظ بھی بڑے جھوٹے ہونا بھی ایک نعمت ہے اور اس کے کئی فائدے ہیں اطلاعاتی نظریہ ہمیں بتاتا ہے کہ اس طرج ہم اپنی بات جلدی کہہ سکتے ہیں۔ شاید آپ کے علم ہو کہ کمپیوٹر میں الفاظ اور حروف کو زخیرہ کرنے کے لیے ہر ایک حرف ایک مقررہ لمبائی کا ہی ہوتا ہے۔ جیسے یونی کوڈ میں جو اس صفحے کے لیے استعمال ہو رہا ہے' ہر حرف کے لیے 16 ثنائی ہندسے (Bits) استعمال کرتا ہے۔ یا پھر انگریزی کا بہت مشہور کوڈ ASCII ہر حرف کے لیے 8 ثنائی ہندسے استعمال کرتا ہے۔ 1948 میں ایک امریکی الیکٹرانکس انجنئیر نے یہ نظریہ پیش کیا کہ اگر ہم ان حروف کو سٹور کرنے کے لیے ہر حرف کے لیے مختلف لمبائی کے ثنائی ہندسوں کی مدد لیں' اس طرح کہ زیادہ استعمال میں آنے والے حروف جیسے "A", "E", "I", "O" و‏غیرہ کو کم سے کم ہندسوں سے اور کم استعمال ہونے والے حروف جیسے "Z", "Q" وغیرہ کو زیادہ حروف سے ظاہر کریں تو نتیجے کے طور پر ہم کسی بڑی فائل کو بہت کم جگہہ میں محفوظ کر سکتے ہیں۔

[ترمیم] معلومات کی پیمائش

معلومات کی پیمائش کے لیے Probability Theory کا سہارا لیا جاتا ہے۔ چنانچہ کسی پیغام میں معلومات ماپنے کے لیے ہم اس پیغام میں ہر حرف کا تعدد معلوم کرتے ہیں۔ اس پیغام میں ہر حرف بھی معلومات کی ایک مقررہ مقدار رکھتا ہے ۔ چنانچہ ایک حرف میں معلومات کی مقدار معلوم کرنے کے لیے پہلے ہم اس کا احتمال کا حساب لگاتے ہیں
احتمال = (پیغام میں اس حرف کی تعداد)/(پیغام میں کل حروف)
اس حرف میں کل معلومات اس کلیے سے معلوم کی جا سکتی ہیں:

جہاں p(x) = Pr({ event x}) اس واقعہ کے رونما ہونے کا احتمال ہے۔

لاگرتھم کی اساس 2 ہے.

مثال:
پیغام = "کام، کام اور کام"
اس پیئام میں کل 16 حروف استعمال ہو‎ۓ ہیں

حرف	تعداد حرف	احتمال حرف	حرفی معلومات	درمائلت (Entropy)
ک	3 بار		2.42	0.45
ا	4 بار		2.00	0.50
م	3 بار		2.42	0.45
،	1 بار		4.00	0.25
و	1 بار		4.00	0.25
ر	1 بار		4.00	0.25
خالی جگہہ	3 بار		2.42	0.45
میزان	16	1		2.61

اس جملے میں حرف میں معلومات کی مقدار اس حرف کے احتمال کے لحاظ سے متفرق ہے۔ ہر حرف کی اوسط معلومات اس جملے کے لیے 2.61 اس طرح کل 16 حروف کے لیے16x2.61 یا تقریبا 42 بٹ (ثنائی اعداد) کی ضرورت ہو گی۔
اس کے مقابلے میں ہم دیکھتے ہیں کہ وکی پیڈیا اسی جملے کو ذخیرہ کرنے کے لیے 16*16 یا 256 بٹیں استعمال کرتا ہے (کیونکہ ہر یونی کوڈ حرف 16 بٹ پر مشتمل ہوتا ہے)۔

اصطلاح	term
اطلاعات لاتیقن واقعہ درمائلت	Information uncertainty Event Entropy

[ترمیم] اور دیکھو

• درمائلت