پردازش زبان‌طبیعی

2016-08-20T22:51:00.001+02:00

Word is defined as a sum of its ngram embeddings in #fastText https://t.co/8K4Oy9H056
— Reza (@arezae) August 20, 2016

آیا پایگاه اسناد و مدارک علمی می‌تونه موفق باشه؟

2016-04-13T15:30:00.003+02:00

با پایگاه اسناد و مدارک علمی امروز از طریق ایمیل آشنا شدم. در صفحه اول سایت (عکس بالا) نوشته شده بود که ۶۶ درصد محتوای سایت رایگان هست. با توجه به زمینه کاری در مورد ترجمه ماشینی در سایت پایگاه اسناد و مدارک علمی جستجو کردم. حداقل در مورد جستجوی ترجمه ماشینی و در بین ۱۰ نتیجه اول ۸۰ درصد اون پولی بود و تنها ۲۰ درصد رایگان بود.

تصور می‌کنم که اطلاعات آماری ارائه شده در سایت بصورت کلی درست هست اما احتمالا نسبت ۸۰/۲۰ در مورد بیشتر مطالب مهم بیشتر صدق می‌کنه.

TF-IDF

2014-12-18T09:40:00.002+01:00

امروز به مطلبی در مورد پیدا کردن کلمه‌های با اهمیت در یک پیکره برخورد کردم که خیلی ساده دلیل استفاده از TF-IDF را توضیح داده بود. اینکه TF می‌تونه کمک کنه که واژه‌های مهم در سطح یک document را پیدا کنیم و IDF هم به ما نشون میده که از بین همه این کلمه‌های پرتکرار کدامیک مهمتر هستند.

در مورد تی‌اف-آی‌دی‌اف (TF-IDF) و پیکره گوگل

ویدیو آموزشی tf-idf - دانشگاه استنفورد

زبان عربی قدیم - بدون نقطه و اِعراب

2014-12-12T15:23:00.002+01:00

امروز در ویکیپدیا به مطلبی در مورد زبان عربی برخورد کردم که برای من عجیب بود. مطلب در مورد نگارشهای مختلف زبان عربی بود. ظاهرا در زمانیها قدیم در زبان عربی نه نقطه‌ای وجود داشته و نه اعرابی. نمونه نوشته شده زیر در زمانهای مختلف را می‌توانید در عکس زیر ببینید:

نگارشهای مختلف بسم‌الله ارحمن الرحیم

اولین خط مربوط به خط عربی کوفی است که در قرن ۹ استفاده می‌شده است. حذف اعراب از زبان عربی به تنهائی پردازش متن را مشکل می‌کند برای اینکه مدل کامگیوتری ما باید بتواند در جمله را تجزیه و تحلیل کرده و بر اساس نقش هر کلمه اعراب آنرا حدس بزند. حال اگر نقطه را هم حذف کنیم، پیچیدگی زبان عربی بیشتر خواهد شد.

مثلا دیگه فرقی بین ب و ن در زبان عربی نخواهد بود. آیا بنظر شما با توجه به اینکه زبان فارسی از سیستم مشابه زبان عربی برای نوشتن استفاده می‌کند، چنین تغییری در زبان فارسی هم اتفاق افتاده است؟

لینکهای مرتبط

مبدل متن به دست‌خط

2014-09-03T09:48:00.000+02:00

من آقای خوش‌خطی هستم

همیشه صحبت از استفاده از مدلهای یادگیری ماشین برای تشخیص دست‌خط بوده، اما اینبار گروهی از محققان دانشگاه تورنتو مدلی ارائه کرده‌اند که می‌تونه متن نوشته شده را به دست‌خط شما تبدیل کنه. تصور کنید که می‌خواهید متنی با دست‌خط خودتان داشته باشید اما با توجه به اینکه اینروزها نوشتن روی کاغذ کار ساده‌ای نیست، از انجام اینکار صرفنظر می‌کنید. اما اگر این برنامه را داشته باشید می‌توانید متن را تایپ کرده و در نهایت آنرا با دست‌خط خودتان داشته باشید.

نمونه متن نوشته شده توسط این برنامه

این برنامه را می‌توانید از طریق لینک زیر تست کنید. البته در حال حاضر فقط برای دست‌خطهای موجود به زبان انگلیسی در سیستم اینکار را انجام میده.

http://www.cs.toronto.edu/~graves/handwriting.html

تصور کنید که بتوانید متن خودتان را به دست‌خط فردی که دوست دارید بنویسید. مثلا متن نامه شما با دست‌خط شکسپیر.

چه کاربردهای دیگری برای این تکنولوژی می‌توانید تصور کنید؟

یک برنامه - تشخیص دهنده زبان - Language identification

2014-08-06T09:34:00.001+02:00

یکی از اولین ابزارهای مورد نیاز پروژه‌های پردازش زبان طبیعی چند زبانه، تشخیص زبان محتوای داده شده است. روشهای مختلفی برای اینکار می‌توان استفاده کرد، که ساده‌ترین آن استفاده از مدل ngram است. در ادامه این نوشته این مدل را توضیح داده و در نهایت یک برنامه پرل (Perl) براي استفاده شما معرفي می‌كنم.

مدلی که در اینجا معرفی می‌کنم یک مدل یادگیری بانظارت هست. به این معنی که برای استفاده از اون نیاز به داده برچسب خورده (labeled data) برای آموزش برنامه دارید. مثلا در مورد این پروژه می‌توانید از یک فایل متنی که در هر خط اون یک جمله باشه و آخرین کلمه هم نوع زبان تعریف شده باشه. مثل نمونه‌ای که در زیر به اون اشاره شده:

this is a test. en

je suis contente. fr

داده

یک راه ساده برای آماده سازی چنین داده‌ای اینه که مجموعه‌ای از جملات انگلیسی را به مترجم گوگل داده و ترجمه اون به زبانهای مختلف را در یک فایل جمع‌آوری کنید. در نهایت باید فایل خودتون را به دو قسمت (بصورت تصادفی ۸۰-۲۰) تقسیم کنید تا بتوانید یک فایل برای آموزش داشته باشید و یکی هم برای ارزیابی نتیجه اون.

مدل

مدل استفاده شده در این برنامه character 3-gram هست. به این معنی که هر زبان بر اساس لیستی از رشته‌های ۳تائی از حروف پشت سر هم (3-gram) تعریف شده. این لیست از روی داده آموزشی برای زبان ساخته میشه. در زمان ارزیابی مدل، جمله داده شده به همین صورت تبدیل به حروف ۳تائی میشه و در نهایت فاصله برداری برین جمله داده شده و تمام زبانها اندازه‌گیری میشه. روشهای مختلفی را می‌توان برای اندازه‌گیری فاصله بین دوبردار استفاده کرد. در این پروژه من از روش اندازه گیری بر اساس کسینوس زاویه بین دو بردار استفاده کرده‌ام که معمولا برای بیشتر مدلها جواب میده.

کد برنامه

سورس کد برنامه را می‌توانید از آدرس زیر دانلود کنید. اگر با جیت‌هاب آشنا باشید براحتی می‌توانید کد برنامه را روی سیستم خودتون کپی کنید. اگر هم موردی داشت که نیاز به تصحیح داشت می‌توانید در همینجا اعلام کنید یا اینکه در أدرس داده شده مطرح کنید.

https://code.google.com/p/language-classifier/source/browse/classify.pl

اگر مشکلی در متصل شدن به گوگل‌کد داشتید به من خبر بدین که برنامه را برای شما بفرستم.

دکترا و پست دکترا - ترجمه ماشینی - آمستردام - هلند

2014-07-30T10:04:00.000+02:00

تعدادی بورس دکترا و یک فرصت پست داک در زمینه ترجمه ماشینی آماری در دانشگاه آمستردام هلند برای سال ۲۰۱۵ ارائه شده که می‌توانید اطلاعات بیشتر را از طریق گروه دیلماج گوگل ببینید.

مترجم ماشینی - شورای عالی اطلاع رسانی

2014-07-26T15:46:00.001+02:00

ترجمه ماشینی - شورای عالی اطلاع رسانی را می‌توانید از لینک زیر تست کنید. تا جائیکه تست کردم نتیجه خوبی نشون نمی‌ده. ظاهرا از یکی از ابزارهای اوپن سورس استفاده شده و با کمک پیکره موازی که احتمالا با کمک مترجم گوگل تهیه شده اونو آموزش داده‌اند.

http://machinetranslation.ir

در یک پست جدا در مورد اینکه چطور میشه اینکار را انجام داد می‌نویسم. اینکه کلا اینکار کمتر از یک هفته طول میکشه برای یک نفر که بتونه چند تا برنامه نصب کنه.

برای شروع می‌تونید ببینید که پروژه مترجم ماشنی اتحادیه اروپا تمام برنامه‌ها و پیکره‌های موازی را بصورت تقریبا رایگان در اختیار همه گذاشته و از طریق لینک زیر برای همه قابل استفاده است.

http://www.statmt.org

لاتین نویسی زبان فارسی

2014-07-22T13:20:00.002+02:00

لاتین نویسی زبان فارسی یکی از پروژه‌هائی است که می‌تواند مورد توجه محققان در زمینه پردازش زبان طبیعی قرار بگیرد. پروژه‌های مشابه با نام نویسه‌گردانی (transliteration) در زبانهای مختلف تعریف شده که بیشتر برای تبدیل متن (در یک زبان) از یک خط به خط لاتین بوده است. بعنوان مثال می‌توان برای زبان ترکی آذربایجان متون را به سه خط عربی، سیریلیک و لاتین دید. در ادامه متن، تعدادی از ابزارهای تبدیل بین خط فارسی و لاتین معرفی شده و استاندارهای قابل استفاده برای اینکار نیز معرفی شده‌اند.

در زبان فارسی هم ابزارهای مختلفی برای نویسه‌گردانی از لاتین به فارسی ارائه شده است که بیشتر کاربرد تبدیل خط پینگلیش به فارسی را دارد. بعنوان مثال می‌توان به برنامه‌های بهنویس، نویسه‌گردان گوگل و ترانویس اشاره کرد. چنین برنامه‌هائی برای تعدادی از کاربران فارسی‌زبان که عادت دارند به پینگلیش بنویسند خیلی مفید بوده است.

اما کمتر برنامه‌ای تا الان برای تبدیل خط فارسی به لاتین ارائه شده است. شاید یکی از دلایل ارائه نشدن چنین ابزاری، نبود بازار مناسب برای آن باشد. در حال حاضر و با وجود فارسی‌زبانهائی که قادر به خواندن متون فارسی به خط فارسی نیستند، بازار مناسب ایجاد شده است. اما مشکلات دیگری هم برای ارائه چنین برنامه‌هائی وجود دارد. با توجه به اینکه صداهادر خط فارسی نوشته نمی‌شوند، نمی‌توان بسادگی با جایگزینی حروف فارسی با لاتین تبدیل را انجام داد. ابهامات زیادی هست که نیاز به استفاده از الگوریتمهای پیچیده‌تری نسبت به مبدل لاتین به فارسی هست. ابهاماتی مانند کلمه -حسن- یا -در- که بسته به معنی آن در جمله، می‌تواند تلفظ‌های متفاوتی داشته باشد.

در حال حاضر پروژه‌ای زیر نظر دبیرخانه شورای عالی اطلاع رسانی در این‌زمینه در حال انجام است که یکی از خروجی‌های آن نویسه‌گردانی فارسی به لاتین هست. در این پروژه که با نام ویراستیار ارائه شده، ادعا شده که برنامه بصورت رایگان و کد باز (هرچند در سایت ویراستیار خبری از ارائه کد برنامه نیست) خواهد بود. در حال حاضر برنامه ویراستیار علاوه بر نسخه اجرائی قابل استفاده در برنامه آفیس ویندوز، بصورت آنلاین هم در آدرس ویراست لایو ارائه شده است.

اما شاید اولین قدم برای تبدیل خط فارسی به لاتین، تعریف خط لاتین باشد بطوریکه بتواند با کمترین مشکل برای پردازش زبان طبیعی قابل استفاده باشد. در حال حاضر ۳ مدل مختلف برای تعریف خط لاتین فارسی تعریف شده که در زیر به آنها اشاره شده است:

از بین ۳ مدل ارائه شده، فقط پروژه الفبای دوم هست که می‌خواهد خط فارسی و خط لاتین را در کنار هم استفاده کند تا بتواند بخشی از مشکلات آموزش زبان فارسی را حل کند و دوتای اول قصد دارند جایگزین خط فارسی بشوند ( که بنظر من منطقی نیست ).

لینکهای مرتبط

پیکره‌های فارسی

2014-07-16T12:04:00.002+02:00

تعریف

پیکره متنی (corpus) مجموعه‌ای بزرگ و بدون ساختار از متون تولید شده توسط انسان است. از پیکره برای آموزش یا ارزیابی مدلهای پردازش زبان طبیعی استفاده می‌شود. پیکره می‌تواند یک زبانه یا چند زبانه باشد. در صورتیکه در پیکره چند زبانه ارتباطی بین جملات زبانهای مختلف تعریف شده باشد، به آن پیکره موازی می‌گویند که کاربر بیشتر آن در ترجمه ماشینی است.

قبلا در مورد پیکره‌های موجود در زبانهای غیر از فارسی نوشته‌بودم (حافظه ترجمه، همشهری‌ آن‌لاین) . در این نوشته قصد دارم دو تا از مهمترین پیکره‌های موجود در زبان فارسی را معرفی کنم.

پیکره بی‌جن‌خان

یکی از قدیمی‌ترین پیکره‌های زبان فارسی که به همت آقای دکتر بی‌جن‌خان و با حمایت مالی سازمانهای مختلف دولتی در دانشگاه تهران تهیه شده است. این پیکره شامل برچسب‌های دستوری (Part-Of-Speech tags) برای کلمات نیز است. این پیکره بصورت دستی برچسب زنی شده است و به همین دلیل یکی از دقیق‌ترین پیکره‌های موجود برای آموزش یک برچسب زن فارسی است. هرچند بنظر می‌رسد که در حین انجام برچسب‌زنی دستی از ابزارهای خودکار برای تسریع کار استفاده شده است که باعث ایجاد برچسب‌های نادرست در مواردی شده است.

لینک پیکره بی‌جن‌خان در سایت دادگان

پیکره موازی انگلیسی-فارسی دانشگاه تهران (TEP corpus)

این پیکره شامل جملات انگلیسی و ترجمه فارسی زیر‌نویس فیلمهای مختلف هست که در قالب یک پیکره ارائه شده‌ است. گروه پردازش زبان طبیعی دانشگاه تهران و آقای دکتر فیلی گردآورنده این پیکره بوده‌اند. این پیکره بیشتر برای آموزش یک سیستم ترجمه ماشینی کاربرد دارد.

پیکره‌های دیگری هم برای زبان فارسی وجود دارند که در نوشته‌های بعدی آنها را معرفی خواهم کرد.

پاورچین پاورچین - سلانه سلانه - بع بع - صورت صورت

2014-07-12T08:30:00.000+02:00

بسی رنج بردم بدین سال سی
عجم زنده کردم بدین پارسی

در ادامه مباحث مربوط به پردازش پیکره فارسی، به یکی دیگه از مواردی که در پیکره‌های خبری فارسی به‌وفور دیده‌ام می‌پردازیم. و خواهیم دید که چطور میشه با یک مدل ساده چنین مشکلی را در پیکره حل کرد.

در متون فارسی گاهی به کلماتی برخورد می‌کنیم که تکرار پشت‌سر آنها کاملا درست است، مثل کلمات زیر:

قاه قاه

شرحه شرحه

بیگلی بیگلی

واق واق

کورمال کورمال

هق هق

زق زق

خس خس

سلانه سلانه

اَ اَ

کَل کَل

یواش یواش

بع بع

دوان دوان

پچ پچ

پرسان پرسان

نچ نچ

فوج فوج

تلق تلق

کرور کرور

پاورچین پاورچین

واه واه

اما آیا همه کلماتی که دوبار پشت‌سر‌هم نوشته شده‌اند، درستن؟ مثلا آیا میشه کلمات زیر را بصورت تکراری نوشت؟

صورت صورت

نظر نظر

باشد باشد

انجام انجام

اگر اگر

پس پس

نمی نمی

آنها آنها

شد شد

بنظر میاد که ترکیب کلمات بالا صحیح نیست. اما چطور میشه این کلمات را در متن پیدا کرده و تصحیح کرد. یک راه ساده اینه که تعداد تکرار ترکیب دوتائی (bigram) را در نظر بگیریم. اما این کافی نیست چرا که کلمات درستی که در ابتدای متن اشاره شد معمولا از تکرار بالائی برخوردار نیستند و نمیشه براحتی اونها را از سری دوم کلمات فقط بر اساس آمار تکرار اونها تشخص داد.

اما راه دوم استفاده از آمار تکرار نسبی است. به این معنی که آمار تکرار دوتائی (bigram) را بر تعداد تکرار کلمه تقسیم کنیم. در اینصورت می‌توانید کلماتی که بصورت تنهائی تکرار بالائی دارند (مانند -شد- ) را از کلماتی که تکرار کمتری دارند ( مانند -بع- ) جدا کرد.

یک منبع عالی برای حافظه ترجمه

2014-07-10T16:19:00.000+02:00

یکی از منابع مهم برای تولید یک سیستم ترجمه ماشینی، داشتن پیکره‌های موازی است. به این معنی که در پیکره موازی جملات ترجمه شده بین دو زبان را داشته باشیم. با داشتن این پیکره . استفاده از ابزارهای آماده مانند موسی (moses) می‌توان یک برنامه ترجمه ماشینی را به سرعت آماده کرد.

در ادامه پروژه ترجمه ماشینی اتحادیه اروپا، جندی پیش مسئولان پروژه یکی از بزرگترین پیکره‌های موازی را برای ۲۲ زیان و ۲۳۱ ترکیب زبانی منتشر کردند. این پیکره‌ها در درجه اول توسط مترجمان حرفه‌ای برای بالا بردن کیفیت و سرعت ترجمه استفاده شده است. اما در حال حاضر امکان استفاده از آنها برای آموزش یک سیستم ترجمه ماشینی برای همه افراد وجود دارد.

- درمورد این پیکره‌های حافظه ترجمه

- دانلود پیکره اتحادیه اروپا

- پروژه ترجمه ماشینی اتجادیه اروپا

- تمام ابزارها و منابع لازم برای ترجمه ماشینی آماری

بررسی وضعیت نیم‌فاصله در پیکره همشهری آنلاین

2014-07-09T16:51:00.002+02:00

در ادامه مطالب نوشته شده در زمینه نیم‌فاصله، این نوشته قصد دارد بخشی از اشتباهات موجود در یکی از پیکره‌های زبان فارسی را مطرح کند. اینروزها بجز از چند سایت خبری که از نرم‌افزارهای قدیمی برای ویراش اخبارشان استفاده می‌کنند، بیشتر سایتها از نیم‌فاصله تا حد امکان استفاده می‌کنند. اما کماکان در بعضی از موارد از فاصله بجای (به‌جای) نیم‌فاصله استفاده می‌کنند که می‌تواند باعث بروز مشکلاتی در پردازش محتوای آنها بشود.

در اینجا به چند مورد از بیشترین اشتباهات صورت گرفته در سایت روزنامه همشهری آنلاین اشاره می‌کنم. این لیست پس از بررسی پیکره همشهری آنلاین تهیه شده است. این پیکره در حدود ۱۱۲ میلیون کلمه (شامل۶۳۰ هزار واژه) دارد.

بین المللی --- بین‌المللی

گفت وگو --- گفت‌وگو

سرمایه گذاری --- سرمایه‌گذاری

روبه رو --- روبه‌رو

بین الملل --- بین‌الملل

تصمیم گیری --- تصمیم‌گیری

خصوصی سازی --- خصوصی‌سازی

چشم انداز --- چسم‌انداز

آن قدر --- آن‌قدر

فوق العاده --- فوق‌العاده

روزنامه نگاری --- روزنامه‌نگاری

قلعه نویی --- قلعه‌نوعی

گفت وگوی --- گفت‌وگوی

برمی گردد --- برمی‌گردد

جابه جایی --- جابه‌جایی

جست وجو --- جست‌وجو

سهمیه بندی --- سهمیه‌بندی

حزب الله --- حزب‌الله

گفت وگویی --- گفت‌وگویی

خانواده اش --- خانواده‌اش

صاحب نظران --- صاحب‌نظران

گفت وگوهای --- گفت‌وگوهای

فرهنگ سازی --- فرهنگ‌سازی

جابه جا --- جابه‌جا

گفت وگوها --- گفت‌وگوها

بیت المقدس --- بیت‌المقدس

زندگی اش --- زندگی‌اش

نتیجه گیری --- نتیجه‌گیری

بازمی گردد --- باز‌می‌گردد

برای تمام موارد اشاره شده ، کلمه در درست هم به کرات در متن استفاده شده است که در جلوی هر کلمه آورده شده.

اگر خواستار اطلاعات بیشتر درمورد پیکره همشهری آنلاین (متفاوت از پیکره همشهری بی‌جن‌خان) هستید، با من از طریق آدرس زیر تماس بگیرید.

فرم تماس با من

نگارش فارسی و نیم‌فاصله از دید فرهنگستان زبان و ادب فارسی

2014-07-04T17:03:00.000+02:00

گاهی برای من مشخص نیست که آیا در مورد یک کلمه خاص باید از نیم‌فاصله استفاده کرد یا اینکه باید با فاصله نوشته بشه. در حالت سوم هم گاهی کلا هیچ نوع فاصله‌ای درکار نیست. مثلا جمله زیر را در نظر بگیرید:

همچنان به فیزیوتراپی و آب درمانی مشغول است.

آیا کلمه آب درمانی (آب‌درمانی) باید بصورت یک کلمه واحد با نیم‌فاصله نوشته بشه یا اینکه باید بصورت جدا نوشته بشه. یا اینکه هر دو این حالتها درسته؟

موارد از این دست در متون فارسی زیاد هست که به بعضی از اونها در ادامه اشاره شده:

به‌جای -- بجای --- به جای

هیچ کس -- هیچ‌کس -- هیچکس

فن آوری -- فن‌آوری -- فنآوری

به وجود --- به‌وجود --- بوجود

همین جا --- همین‌جا --- همینجا

شناخته شده --- شناخته‌شده

کوچک تر --- کوچک‌تر -- کوچکتر

البته برای بعضی از این موارد در سایت فرهنگستان زبان فارسی توضیحاتی آمده است. نکته جالب اینه که در همین متن نوشته شده در فرهنگستان هم مشکل نیم‌فاصله وجود داره. جائیکه در مورد کلمات ترکیبی که الزاما جدا نوشته میشوند، نوشته:

دست‌کم، شوراى عالى، حاصل ضرب، صرف ‌نظر، سیب‌زمینى، آب‌میوه، آب‌لیمو

با کمی دقت میشه دید که برای کلمه حال‌ضرب از فاصله استفاده شده و نه نیم‌فاصله در حالیکه برای سیب‌زمینی از نیم‌فاصله استفاده شده است. وقتی در نوشته رسمی فرهنگستان چنین اشتباهی وجود داشته باشه، نمیشه از نویسندگان سایتهای خبری انتظار بیشتری داشت.

نوشته‌های مرتبط:
- بررسی وضعیت نیم‌فاصله در پیکره همشهری آنلاین
- نیم‌فاصله یا فاصله مجازی در زبان فارسی

نیم‌فاصله یا فاصله مجازی در زبان فارسی

2014-07-04T12:29:00.000+02:00

فارسی شکر است

اینروزها یکی از کارهای من اینه که بر روی نرمال سازی پیکره‌های فارسی کار کنم. بزرگترین مشکلی که دیده‌ام در مورد استفاده از نیم‌فاصله یا فاصله مجازی بوده. نمی‌دانم چرا یک سایتهای خبری یک قانون مشخص در این‌مورد ندارن که مثلا اینکه یک سایت اصلا از نیم‌فاصله استفاده نکنه. وقتی قانون مشخصی نداریم، اینطوری میشه که در یک سایت تمام حالتهای مختلف استفاده و عدم استفاده نیم‌فاصله برای یک کلمه خاص وجود داره.

در بیشتر موارد این اسامی جمع یا صرف فعل هست که این مشکل را داره.

می توانم ---> می‌توانم

کتاب ها ----> کتاب‌ها یا کتابها

اما گاهی پیچیدگی بیشتر هست. مثلا در مورد اسم شهرهایی که ترکیبی هستند مثل خمینی‌شهر.

جملات زیر را در نظر بگیرید:

در میدان امام خمینی شهر لواسان

در میدان امام خمینی شهر اصفهان

در شهرستان خمینی‌شهر اصفهان

در میدان امام خمینی شهر خمینی‌شهر اصفهان

در تمام موارد بالا، تنها نویسنده مطلب هست که می‌تونه با درست نوشتن کمک کنه که ابهام از بین بره. جالبه که ذهن انسان می‌تونه این ابهام را براحتی حل کنه اما در حال حاضر الگورتیمی برای حل اون توسط کامپیوتر نداریم (یا حداقل من خبر ندارم و پیدا نکردم).

حالا در نظر بگیرید که در یک سایت خبری موارد زیر را دیده‌ام:

- به نمایندگی ایران خودرو در خمینی شهر تحویل داد

- در آن مثال شهرستان خمینی شهر زده شد

- علیرضا باقری از خمینی‌شهر

- تحت پوشش کمیته امداد امام خمینی شهر تهران

- سر رسید مفاخر خمینی‌شهر را تهیه کرده بود

- مردم خمینی‌شهر مردم شعر شناسی هستند

- پس از انقلاب به خمینی شهر تغییر یافت

هر دو حالت استفاده از نیم‌فاصله و بدون نیم فاصله در سایت وجود داره. حالا اگه بخواهید هر نوع پردازش متنی برروی محتوای این سایت انجام بدین، به مشکل برخورد می‌کنین. حتی یک جستجوی ساده برای اسم شهر خمینی‌شهر می‌تونه تعداد زیادی از نتایج را نشان نده. البته روشهایی هست که بتونه نتایج را بهتر کنه اما سوال من اینه که آیا بهتر نیست که سایتهای خبری در مورد استفاده یا عدم استفاده از نیم‌فاصله رویه ثابتی داشته باشند؟

دادگان - مرجعی برای تمام داده های زبان فارسی

2013-07-13T16:49:00.001+02:00

گروه پژوهشی دادگان در دبیرخانه شورای عالی اطلاع رسانی وب سایتی را برای معرفی تمام داده های موجود زبان فارسی ارائه کرده است. خوبی اینکار این هست که افراد و شرکتهای فعال در زمینه پردازش زبان فارسی می توانند بصورت متمرکز به این اطلاعات دسترسی داشته باشند. اضافه بر اینکه در هر مورد شما می توانید براحتی اطلاعاتی در مورد تولید کننده داده و نحوه تماس با آنها پیدا کنید.

اما چند نکته:

- بیشتر دادگانی که با پشتیبانی دبیرخانه شورای عالی اطلاع رسانی در مراکز پژوهشی انجام شده، فقط قابل استفاده توسط دانشگاههای ایرانی است. ظاهرا در این میان راه حلی برای استفاده تحقیقاتی از این اطلاعات در شرکتهای داخلی یا خارجی در نظر گرفته نشده است.

- در چند مورد من تلاش کردم که اطلاعات بیشتری در مورد داده ها و اینکه چطور می توانم از آنها برای کارهای تحقیقاتی در شرکت استفاده کنم بدست بیاورم که متاسفانه کسی پاسخگو نبود. البته بدیهی بود که وظیفه پاسخگوئی بر عهده دبیرخانه نیست و برای هر داده باید با تولید کننده آن تماس گرفت. اما متاسفانه چند تولید کننده ای که من برای آنها فرمهای خواسته شده را فرستادم و حتی با ایمیل هم پیگیری کردم، جوابی به من ندادند.

با توجه به اینکه تقریبا در تمام مواردی که ایمیل فرستادم، کسی جوابی به من نداد، تصور میکنم این اطلاعات در حقیقت بخشی از قرارداد دبیرخانه برای پشتیبانی مالی پروژه های معرفی شده بوده و مهم نیست که آیا کسی امکان دسترسی به این داده ها را دارد یا نه.

اولین کنفرانس بین المللی پردازش زبان طبیعی فارسی

2012-05-28T16:41:00.000+02:00

اینروزها با گسترش اینترنت بین فارسی زبانان در سراسر دنیا؛ استفاده از ابزارهای پردازش زبان فارسی اهمیت بیشتری پیدا کرده اند. بطوریکه بالاخره بعد از مدتها خبر برگزاری یک کنفرانس بین المللی در زمینه پردازش زبان فارسی به علاقه مندان این رشته نشان داد که این اهمیت در داخل ایران هم دیده شده است. امسال اولین کنفرانس بین المللی پردازش زبان فارسی در دانشگاه سمنان برگزار میشه. این کنفرانس در روزهای 15-16 شهریور 1391 برگزار خواهد شد. امیدوارم که اینکار ادامه پیدا کرده و در نهایت بعد از مدتها یک کنفرانس تخصصی پردازش زبان طبیعی برای زبان فارسی در ایران داشته باشیم. کنفرانسی که کمک خواهد کرد که محققان و دانشجویان و شرکتهای فعال در این زمینه با هم آشنا شده و بتوانند در آینده پروژه های بهتری را در این زمینه تعریف کنند.

در صورت برگزاری این کنفرانس در دوره های بعدی می توان امیدوار بود که تحقیقات دانشگاهی در زمینه پردازش زبان طبیعی در داخل ایران به تولید محصولات بهتری در این زمینه کمک کند.

مطالب مرتبط :

چطور می توانید فایلهای خودتان را با دوستانتان به اشتراک بگذارید؟

2012-05-04T12:25:00.001+02:00

حتما برای شما هم پیش آمده است که خواسته باشید فایلی را برای دوستتان بفرستید اما بدلیل محدودیت پیوست کردن فایل به ایمیل نتوانسته اید آنرا بفرستید. یا اینکه خواسته باشید یک فایل را برای تعداد زیادی از دوستانتان بفرستید و مجبور نباشید که برای هرکدام یک کپی از فایل را بفرستید.

اگر مشابه چنین مشکلی داشته اید، این نوشته می تواند به شما کمک کند که از امکانات جدید (و رایگان) اشتراک فایل در اینترنت برای اینکار استفاده کنید.

شما می توانید ۵۰ گیگا بایت فضای مجانی اما کمی کند از باکس بگیرید، یا اینکه ۲ گیگا بایت مجانی ولی پرسرعت از دراپ باکس بگیرید. توضیحات بیشتر در ادامه این مطلب نوشته شده است.

یک راه اشتراک فایل این است که شما فایل خودتان را در جائی در اینترنت قرار دهید (آپلود کنید) و بعد لینک آنرا به دوستانتان بدهید تا بتوانند آنرا ببینند. در ضمن شما می خواهید کنترل کنید که چه کسانی بتوانند فایل شما را دانلود کنند یا عکس شما را ببینند. در حال حاضر سرویسهای متنوعی برای اینکار بصورت رایگان ارائه شده اند در ادامه آنها را توضیح داده و مزایا و معیب هر کدام را بررسی میکنیم.

۱- دراپ باکس

یکی از بهترین سرویسهای اشتراک فایل هست که استفاده از آن تا ۲ گیگابایت مجانی است. در صورتیکه برنامه آنرا بر روی کامپیوتر خودتان نصب کنید، اشتراک گذاشتن یک فایل از روی کامپیوترتان به سادگی کپی کردن فایل در یک کامپیوتر شما است. فراموش نکنید که برای استفاده از تمام امکانات این سرویس بهتر است که برنامه معرفی شده در سایت را هم نصب کنید.

این برنامه برای ویندوز و لینوکس و همچنین اندروید و ای آو اس (موبایل) ارائه شده است که بعد از نصب یک فولدر با نام دراپ باکس در کامپیوتر شما درست میکند. شما براحتی می توانید فایلهای خودتان را در این فولدر کپی کنید و آنرا با دوستان خودتان به اشتراک بگذارید. تمام کارهای مربوط به آماده سازی نسخه اینترنتی فایل شما بر عهده برنامه نصب شده خواهد بود. شما نیازی ندارید که هربار در سایت دراپ باکس وارد شده و فایل را آنجا آپلود کنید.

در ضمن در صورتیکه این برنامه را به دوستان خودتان معرفی کنید، برای هر نفر که برنامه آنرا نصب کند به شما ۲۵۰ مگابایت فضای رایگان می دهد.

۲- گوگل درایو

گوگل از مدتها قبل در بازار ارائه فضای رایگان جهت اشتراک فایل در اینترنت حضور داشت. در این سرویس هم شما می توانید برنامه ارائه شده را نصب کرده و از فولدری که گوگل بر ای شما در کامپیوتر ایجاد کرده برای اشتراک فایل استفاده کنید. اینبار هم تمام کارهای مربوط به اشتراک فایل در اینترنت از طریق برنامه انجام خواهد شد. این برنامه برای موبایل اندروید هم ارائه شده است.

تفاوت این سرویس با دراپ باکس این است که در ابتدای کار گوگل فضای بیشتری را در اختیار شما قرار می دهد این فضا در حدود ۵ گیگا بایت است که فابل ارتقاء است (با پرداخت کمی هزینه)

۳- اسکای درایو (میکروسافت)

شرکت میکروسافت هم از مدتها قبل سرویس مربوط به فضای رایگان در اینترنت را با نام اسکای درایو ارائه کرده است. این سرویس در ابتدا حدود ۱ گیگا بایت بود. بعدا تا ۲۵ گیگا بایت (درست خواندید ۲۵ گیگا بایت) فضا افزایش یافت. در حال حاضر این سرویس برای کاربران قدیمی همان ۲۵ گیگا بایت هست اما برای افرادی که اکانت جدید درست کنند حدود ۷ گیگا بایت خواهد بود.

متاسفانه این سرویس برنامه ای برای موبایلهای اندروید تابحال ارائه نکرده است و برنامه ارائه شده تنها امکان نصب بر روی گوشیهای ویندوزی و آف فون را دارد.

۴- زومو درایو (یاهو)

شرکت یاهو هم سرویس مشابهی را از طریق سایت زومو دروایو ارائه کرده است که حدود ۱/۵ گیگا بایت فضای مجانی در اختیار شما قرار می دهند. مانند بقیه سرویسهای معرفی شده، این سرویس هم برنامه ای در اختیار شما قرار می دهند که امکان اشتراک فایل را مستقیما از طریق کامپیوتر خودتان بدون نیاز به وارد شدن به سایت اینترنتی فراهم میکند.

۵- باکس

این سرویس بیشترین فضای مجانی را در مقایسه با بقیه سرویسها در اختیار شما قرار می دهد. در صورتیکه برنامه موبایل آنرا نصب کنید حدود ۵۰ گیگا بایت فضا در اختیار شما قرار می دهد. اما اشکال این سرویس این است که برای نصب برنامه آن در کامپیوتر خودتان باید پول بدهید. بعبارت دیگه این سرویس برای گرفتن فضای زیاد خوبه اما کار کردن با آن بسادگی بقیه سرویسها نیست.

در نهایت :‌

از بین سرویسهای ارائه شده بالا، در حال حاضر سرویس دراپ باکس سریعترین سرویس را ارائه می کند. بعلاوه اینکه شما براحتی می توانید حجم فضای خودتان را بصورت رایگان، از طریق معرفی آن به دوستان دیگر، اضافه کنید.

استفاده کاربردی از ترجمه ماشینی گوگل

2012-04-19T11:47:00.003+02:00

این نوشته در مورد نتایج خنده دار مترجم گوگل است که تقریبا در مورد همه مترجمهای ماشینی در همه زبانها صادق است.

چندی قبل یکی از فارسی زبانان طنز پرداز اینترنتی (علیرضا۲۴)(فیس بوک علیرضا۲۴) فیلمی را در مورد استفاده کاربردی ترجمه ماشنی گوگل در یوتیوب منتشر کرد. این فیلم به اینصورت است که فرد یک سناریوی فرضی را به زبان فارسی نوشته و اجرا میکند. بعد ترجمه انگلیسی آنرا هم به همان صورت قبلی اجرا میکند. در نهایت متن ترجمه شده انگلیسی را دوباره با مترجم گوگل به فارسی ترجمه می کند. این متن آخر را دوباره در همان حالت قبلی اجرا میکند که بسیار جالب و خنده دادر درآمده. تصور نمیکنم کسی بتواند این فیلم را ببیند و بتواند جلوی خنده خودش را بگیرد.

لینک اول برای دیدن یا دانلود

نتایج خنده دار مترجم گوگل

نسخه یوتیوب این فیلم را در زیر می توانید می بینید.

توضیح اینکه اصولا ترجمه رفت و برگشت در یک سیستم ترجمه ماشینی برای بیشتر زبانها می تونه متن اولیه را کلا عوض کنه. دلیل آنهم اینه که مدل استفاده شده برای تولید یک مترجم مثلا انگلیسی به فارسی و برعکس یک سرویس متقارن نیست. برای همین ترجمه رفت و برگشت می تونه متفاوت باشه.

درس آنلاین پردازش زبان طبیعی

2012-04-04T13:38:00.002+02:00

مدتیست که درس پردازش زبان طبیعی بصورت آنلاین و مجانی توسط دو تن از بزرگترین اساتید این

رشته در اینترنت ارائه شده است. استفاده از کلاس درس این دو استاد فرصت مناسبی است که همه دانسته های خودمان در این زمینه را مرورو کرده و آنها را با آخرین تحولات این رشته بروز رسانی کنیم.

برای شرکت در این کلاسها از آدرس زیر استفاده کنید :‌

کلاس درس پردازش زبان طبیعی دانشگاه استنفورد

Dan Jurafsky

Christopher Manning

چه موضوعی در زمینه پردازش زبان طبیعی توی بورس هست؟

2012-04-04T11:32:00.001+02:00

اگر می خواهید در بازار کار همیشه طرفدار داشته باشید، یکی از سوالاتی که همیشه باید از خودتان بپرسید اینه که چه زمینه هائی از پردازش زبان طبیعی الان پرطرفدار هستند. از این پست قصد دارم در مورد هر کدام از مواردی که در زمینه پردازش زبان طبیعی الان پرطرفدار هستند کمی بنویسم.

این نوشته بیشتر در مورد کاربردهای داده کاوی خواهد بود.

مراحل انجام داده کاوی

بسیار عالی خواهد بود اگر نظر خودتان را در مورد این دسته از نوشته ها در انتهای همین نوشته یا از طریق صفحه تماس با من خبر بدهید.

Social Network Data Mining

از پر طرفدارترین موضوع که پردازش متون شبکه های اجتماعی است شروع میکنم. در حال شرکتهای زیاید علاقه دارند که بتوانند اطلاعاتی را از شبکه های احتماعی استخراج کنند. اسم علمی اینکار داده کاوی (Data mining) به زبان فارسی است. یکی از اطلاعاتی که می توان استخراج کرد در مورد مطالبی است که هر کاربر می نویسد. مثلا اداره پلیس شهر علاقه مند است که بداند چه افرادی در مورد اتفاقاتی که در شهر افتاده یا خواهد افتاد صحبت کرده اند. به این ترتیب می توانند با این داده ها از بروز اتفاقات بعدی جلوگیری کنند (چیزی شبیه داستان گزارش اقلیت تام کروز). در حال حاضر بطور خاض شرکتهایی هستند که مستقیما برای اداره پلیس کار میکنند و هدف آنها جمع آوری اطلاعات در زمینه های جرم و جنایت هست.

Opinion Mining

یکی دیگر از کاربردهای پردازش متون در شبکه های اجتماعی این است که یک شرکت مثلا بی ام و بداند که مردم در مورد آخرین مدل ماشین آنها چه نظری دارند. یا اینکه مثلا اگر آگهی را بصورت عمومی نمایش داده اند که ویژگیهای مدل جدید ماشنینی را نشان می دهد، نظر مردم چیست. این می تواند به آنها کمک کند که بازاریابی بهتری داشته باشند. گاهی مواردی از نظر مشتریان اهمیت دارد که شاید در اولین نگاه از دید بخش بازاریابی شرکت پنهان بوده باشد. مشابه همینکار می تواند برای نامزدهای انتخابات در کشورهای مختلف استفاده شود. اگر یک کاندید بتواند سریعتر از بقیه بفهمد که مردم در مورد آخرین صحبتهای او چه نظری دارند، می تواند در صورت لزوم سری آنها را تصحیح کند یا اینکه موارد قوت را بیشتر در صحبتهای بعدی مطرح کند. بصورت کلی مواردی مشابه اینرا در گروه پروژه های Opinion mining دسته بندی می کنند. ترجمه فارسی مناسبی برای این واژه سراغ ندارم اما شاید عبارت نظر کاوی درست باشد.

برای طولانی نشدن مطلب بقیه موارد را در یک نوشته دیگر برای شما خواهم نوشت.

پایان مهلت استفاده از سرویس ترجمه گوگل در برنامه

2011-06-07T14:25:00.000+02:00

گوگل اعلام کرده که استفاده از ارائه سرویس ترجمه رایگان در برنامه های دیگر را برای سال آینده 2012 ادامه نخواهد داد. یا این ترتیب شرکتهایی که از ترجمه آنلاین گوگل در برنامه هایشان استفاده می کردند دیگر نمی توانند از آن استفاده کنند. حداقل بصورت مجانی نمی توانند.

این می تونه فرصتی باشه برای بقیه شرکتها که بتونن روی سرویسهای آنلاین ترجمه خودشون کار کنن. در ضمن امکان کسب درآمد را برای بقیه می تونه فراهم کنه. البته باید منتظر ماند و دید که آیا این سرویس بصورت تجاری ارائه میشه یا نه و اگر ارائه میشه به چه قیمتی.

فوق لیسانس زبانشناسی در آلمان

2011-03-28T17:39:00.000+02:00

اول از همه اینکه شما می توانید آخرن اخبار بورسهای اروپا و آمریکا در زمینه پردازش زبان طبیعی را در گروه زیر پیدا کنید.

گروه دیلماج در گوگل

اما اینبار یک بورس کارشناسی ارشد - فوق لیسانس ـ در آلمان برای زیانشناسی رایانه ای

شروع دوره از سپتامبر ۲۰۱۱ هست و بیشتر برای افرادی که در زمینه زبانشناسی کار کرده اند مناسب است.

The University of Zurich is pleased to announce an innovative Master's

degree program in ?Multilingual Text Analysis - Comparative Corpus

Linguistics?, beginning in September 2011.

The Specialized Master in Multilingual Text Analysis is inspired by
comparative Corpus Linguistics. It combines Linguistics in English,
German and the Romance languages with methods and techniques from
Computational Linguistics.

It has been designed for students who want to complement their interest
in Linguistics with a qualification in Language Technology. It is also
suitable for students of Computational Linguistics who want to gain a
multilingual perspective. Applicants should have a Bachelor degree.

Comparative Corpus Linguistics is a fast-growing discipline, which is
partly due to the multitude of translated texts that are now available
in digitialised form. The demand for interdisciplinary skills in
languages and computers is increasing, which has created many job
opportunities. Graduates are well qualified for jobs in translation and
terminology departments of international companies which manage
documents in multiple languages, and in the rapidly growing field of
language technology development.

Online-Application:
http://www.uzh.ch/studies/application/master/apply_en.html

Application Deadline: April 30, 2011

For more information about admissions, tuition, and financial
assistance, please visit the website:
http://www.mlta.uzh.ch

Contact Jeannette Roth, Student Counsellor Multilingual Text Analysis:
m...@cl.uzh.ch

بورس دکترا در زمینه تکنولوژی زبان - دانشگاه های سوئد

2011-01-06T13:26:00.000+01:00

Application for GSLT PhD programmes

Application for PhD programmes in language technology associated with GSLT should be made to the individual institutions involved. We will place information concerning application to the individual institutions on this page as it becomes available.

PhD positions in Gothenburg

The Faculty of Arts at the University of Gothenburg has announced 30 funded PhD positions for graduate studies in the subjects associated with the faculty (including language technology). Deadline for applications is Jan. 24, 2011. The following two graduate programmes in the faculty are associated with GSLT:
PhD programme in General Linguistics (Department of Philosophy, Linguistics and Theory of Science)
PhD programme in Natural Language Processing (Department of Swedish)

The Graduate School of Language Technology (GSLT) is a national graduate school for which the University of Gothenburg (Faculty of Arts) is the coordinating host. Participating institutions are:
University College of Borås,
Chalmers University of Technology,
KTH (Royal Institute of Technology),
Linköping University,
Lund University,
Stockholm University,
Uppsala University
Supervision is also available from
SICS (Swedish Institute of Computer Science).

The school offers a doctoral programme in language technology. One of its main aims is to provide advanced training in the foundations of both speech and natural language processing technologies.
GSLT is committed to an international profile and welcomes applications from outside Sweden. To be eligible for application students must have an undergraduate degree in an appropriate related field.

PhD scholarship - Machine Translation, Speech Recognition and NLP - Deadline 9 Jan 2011

2010-12-22T12:13:00.000+01:00

The ?Human Language Technologies? Research Unit of Bruno Kessler Foundation (FBK)
is seeking candidates for three research internship positions in the following areas:

- Statistical Machine Translation
- Automatic Speech Recognition
- Software development for NLP

The internship are intended to provide a strong theoretical and experimental background to graduate
students interested in applying for a PhD scholarship to start in June 2011.

Requirements, salary, and application procedure are specified in
http://risorseumane.fbk.eu/sites/risorseumane.fbk.eu/files/Call%20HLT_INTERNSHIP2011.pdf

Closing date: 9 January 2011