فرهنگ بسامدی بر اساس پیکره متنی زبان فارسی امروز منتشر شد
دکتر محمود بی جن خان
مهندس مهدی محسنی
فرهنگ بسامدی میزان کاربرد کلمات زبان را بر حسب فراوانی وقوع آنها در یک پیکره زبانی که نماینده آماری زبان است نشان می‌دهد. کلمات پربسامد و کم‌بسامد می‌توانند شاخص ارزشمندی برای پی بردن به مولفه‌های فرهنگی یک جامعه زبانی باشند. میزان بسامد کلمات در یک فرهنگ بسامدی تابع بازه زمانی است که پیکره فرهنگ در آن زمان گردآوری شده است. بنابراین اطلاعات موجود در فرهنگ بسامدی رابطه مستقیم با تحولات تاریخی یک جامعه زبانی دارد. امروزه فرهنگ بسامدی در تحقیقات بین‌رشته‌ای مانند آموزش زبان دوم به خارجیان، زبان‌شناسی نظری و کاربردی و فناوری‌های زبان در محیط رایانه از قبیل ترجمه ماشینی و طراحی مدل زبانی برای سامانه‌های پردازش گفتار کاربرد موثری دارد. فرهنگ بسامدی زبان فارسی امروز شامل بن‌واژه‌هایی از پیکره فرهنگ (پیکره مورد استفاده برای تهیه فرهنگ) است که فراوانی بیش 500 دارند. تعداد بن‌واژه‌های با فراوانی بیش از این مقدار در پیکره فرهنگ1868 مورد است. ذیل این بن‌واژه‌ها19987 کلمه که از نظر شکل نوشتاری و /یا برچسب واژگانی متفاوت هستند قرار گرفته است.بخش فرهنگ بر اساس حروف الفبا مرتب شده ولی برای دسترسی آسان به ترتیبِ بسامدیِ بن‌واژه‌ها،فهرست ترتیبی بن‌واژه‌ها بر اساس بسامد در فصلی جداگانه آورده شده است. به علت اهمیت هم‌نگاره‌ها در پردازش رایانه‌ای متون فارسی، هم‌نگاره‌هایی که نام کامل برچسب آنهادستاکم در یک مقوله (به جز کسره اضافه) متفاوت باشد در فصلی از کتاب فهرست شده‌اند.
برای اطلاعات بیشتر اینجا کلیک کنید
آقای محسنی یه وبلاگ داره، تو وبلاگش نوشته بود رو pos tagger کار کرده، انگار پایان نامه اش بوده. خیلی مفصل راجع بهش کار کرده بود.
در مورد pos tagger که search می کنی میبینی کلی مقاله و پایان نامه نوشته شده ولی نمی دونم چرا وقتی بهش نیاز داری حتی یکی هم نیست که کارت رو راه بیاندازه.
برای اینکه تو ایران هیچکس حاضر نیست کارشو open source در اختیار بقیه قرار بده!