احساس عاطفی: تلفن های همراه مبتنی بر پلت فرم انطباقی برای پژوهش روانشناسی اجتماعی تجربی EmotionSense: A Mobile Phones based Adaptive Platformfor Experimental Social Psychology Research

مقدمه

گوشی های موبایل، پلت فرم محاسباتی ایده آلی برای نظارت رفتار و حرکت ارائه می دهند، از این رو بخشی از زندگی روزمره میلیاردها انسان هستند. اخیراً، سیستم هایی از قبیلCenceme  وBetelgeuse  نشان داده اند که تلفن های همراه پتانسیل سنجش و ارائه اطلاعاتی از قبیل حرکت و فعالیت کاربر در برنامه های تفریحی و مراقبتی را دارند. یکی از استفاده های ممکن از این فن آوری ها، حمایت قابل استدلال از آزمایش های جامعه شناسی شامل مطالعه در مورد زندگی و تعاملات روزمره افراد می باشد. در گذشته، این آنالیزها با کمک دوربین ها (در خانه / محیط کار با آزمایشگاه ها) و با استفاده از ضبط صدای افراد و خودسنجی (self report) از طریق خاطرات روزانه یا PDA ها انجام می شد. با این حال، این روش ها می تواند منجر به نتایج متضاد (biased results) گردد، زیرا افراد می دانند که به طور مداوم تحت نظارت قرار دارند. در عوض، گوشی های تلفن همراه بدون ایجاد مزاحمت، ابزاری برای کسب اطلاعات در مورد رفتار و تعامل افراد ارائه می دهند.

در این مقاله، EmotionSense را ارائه می نماییم که جهت مشاهده متن کامل، فایل ترجمه را دانلود نمایید. از نظر طراحی سیستم این است که دارای قابلیت برنامه ریزی (دانشمندان علوم اجتماعی می توانند وظایف سنجش را با استفاده از یک زبان اظهاری  توصیف نمایند)، و انطباق با زمان اجرا می باشد (دانشمندان علوم اجتماعی می توانند با توجه به زمینه کاربری، قوانین فعال نمودن و غیرفعال نمودن سنسور ها را بنویسند). اگر چه سنجش انرژی کارآمد قبلاً در مطالعاتی از قبیل[30] مورد بررسی قرار گرفته بود، اما این مقاله اولین مقاله ای می باشد که یک سیستم سنجش تلفن همراه قابل برنامه ریزی کاملاً آگاه از زمینه (context-aware)  رابرای پژوهش روانشناسی اجتماعی ارائه می دهد. دانشمندان علوم اجتماعی می توانند رفتار سیستم را بر حسب سنجش عملیات بر اساس آنالیز اطلاعات موجود در مورد کاربر و محیط آن تغییر دهند. به عنوان مثال، در صورتی که افراد نزدیک به کاربر باشند، آنها می توانند قاعده ای برای فعال نمودن سنسور صوتی بنویسند.

به طور خیلی خاص، می توان سهم اصلی این کار را به شرح زیر خلاصه نمود:

• ما برای روانشناسی تجربی و جامعه شناسی سیستم کاملی را طراحی، پیاده سازی، مستقر و ارزیابی می نماییم که به طور خاص با توجه به تاثیر فعالیت، تعاملات گروه و تنظیم زمان با احساسات فرد به شیوه ای بدون مزاحمت، قادر به ارائه اطلاعاتی در مورد پویایی گروه اجتماعی می باشد.


• دو زیر سیستم جدید را برای تشخیص احساسات و تشخیص صدای ایجاد شده بر روی پلت فرم تلفن همراه طراحی می نماییم. این دو زیر سیستم برای تشخیص احساسات و هویت گوینده مبتنی بر روش های مخلوط گوسی (Gaussian Mixture ) می باشند. EmotionSense به طور خودکار گویندگان و احساسات را با استفاده از طبقه بندی کننده های در حال اجرا درگوشی های تلفن همراه با تولید انبوه تشخیص می دهد.


• ما بواسطه قوانین اظهاری سیستمی با برنامه ریزی انطباقی ارائه دهیم. این قوانین با استفاده از پیش بینی منطق مرتبه اول (first order logic) بیان شده و با استفاده از موتور منطقی تفسیر شده اند. این قوانین می توانند اقدامات سنجشی جدیدی را راه اندازه نموده (از قبیل شروع نمونه گیری از سنسور) یا امواج موجود را اصلاح نمایند (از قبیل فاصله نمونه گیری از سنسور).


• ما نتایج حاصل از آماده سازی واقعی طراحی شده با همکاری روانشناس های اجتماعی را ارائه می نماییم. ما دریافتیم که به طور کلی توزیع احساسات تشخیص داده شده از طریق EmotionSense، خودسنجی شرکت کنندگان را منعکس می نماید. یافته های ما به شیوه ای کمّی در ارتباط با مطالعات روانشناختی اجتماعی و با استفاده از روش های سنتی تایید می شود. ما ارتباط فعالیت های کاربر و احساسات و همچنین احساسات و مکان را تشخیص داده و توانستیم شرکت کنندگان در حال صحبت در گروه ها را توسط میزان صحبت شان توصیف نماییم.

EmotionSense  پتانسیل لازم برای نحوه تغییر مطالعه دانشمندان در مورد رفتار اجتماعی انسانی را داراست. روانشناسان درگیر در پروژه های ما، انعطاف پذیری EmotionSenseو از همه مهم تر، امکان بهره برداری از فن آوری بدون مزاحمت برای آزمایش آنها و توانایی اعتبار سنجی اطلاعات به دست آمده با استفاده از روش های مبتنی بر خود سنجی به شیوه ای بسیار دقیق و کمّی را درک نموده اند. در نهایت، مشاهده می نماییم که حریم خصوصی(privacy) نگرانی اصلی این سیستم نیست، زیرا در مطالعات روانشناختی دیگر نشان داده شده است که همه کاربران به طور داوطلبانه موافق دستگاههایی برای نظارت ثابت می باشند. در هیچ موردی، هیچ ضبط کننده صدایی ذخیره نشده است، ازاینرو نمونه ها بلافاصله پس از پردازش رها شده اند. شناسه های بلوتوث نیز توسط سیستم ذخیره نشده اند.

سنجش احساسات انسانی

جهت مشاهده متن کامل، فایل ترجمه را دانلود نمایید.

روش های پژوهشی بکار رفته در علوم رفتاری، از فن آوری به طور محدود استفاده می کند. پژوهشگران ممکن است علاوه بر خودسنجی های (self-reports) سنتی، بر مشاهدات رفتاری شرکت کنندگان در محیط آزمایشگاهی تکیه نمایند. این روش ها می تواند مفید باشد، اما واقعیت این است که آنها مبتنی بر رفتار آزمایشگاهی هستند و  نگرانی در مورد تعمیم پذیری (generalizability) به زمینه های غیر آزمایشگاهی را افزایش می دهند. اخیراً، پژوهشگران در تلاش برای بررسی رفتار در زندگی روزمره از روش های جدیدی اسنفاده می نمایند. به عنوان مثال، روش های یادداشت خاطرات روزانه(daily diary) و نمونه گیری تجربه (experience sampling) از شرکت کنندگان می خواهند تا رویدادهای روانی و حالات اجتماعی تجربه شده در پایان روز یا به صورت دوره ای در طول روزشان را گزارش نمایند. روش دیگری که با ستفاده از ابزار مورد استفاده قرار می گیرد، این است که هر چند دقیقه بخشی از زندگی روزانه شرکت کنندگان ضبط (یا از آن لحظه ها تصویر های فوری گرفته شود) و سپس از آنها رونوشت برداشته شود و توسط تیمی از پژوهشگران کد گذاری شود. این روش ها نسبت به روش های زمینه یابی(survey) سنتی دارای مزایای بیشتری هستند، با این حال دستخوش مسائل مرتبط با فراموشی(forgetting) رویدادهایی می باشند که در طول روز انجام گرفته اند و حامل یک ابزار الکترونیکی مزاحم اضافی می باشند.

جهت مشاهده متن کامل، فایل ترجمه را دانلود نمایید.

چالش های پژوهشی مربوط به طراحی سیستمEmotion-Sense  سه برابر شده است. اول، باید از الگوریتم های استنباطی (inference) کارآمد در استخراج اطلاعات سطح بالای داده های خام موجود در سنسورهای دقیقی استفاده نمود که همیشه در تلفن های موبایل تعبیه نشده اند. دوم، باید سیستم کارآمدی برای این دسته از دستگاه ها که دارای منابع محدود هستند (به خصوص از لحاظ مصرف برق) طراحی شود. سوم، این سیستم باید برای آزمایش های مختلف و با شرایط در حال تغییر به راحتی قابل برنامه ریزی و قابل تنظیم باشد. هدف ما، استفاده از دستگاه هایی با تولید انبوه می باشد، تا آماده سازی  در مقیاس بزرگ و با قیمتی ارزان امکان پذیر باشد. در بخش بعدی،EmotionSense  سطح بالا را شرح داده و سپس به تفصیل در مورد مولفه های اصلی آن بخصوص بازشناسایی گوینده، تشخیص احساسات و انطباق پویایی قانون محور(rule-based) آن به بحث می پردازیم.

مرور کلی سیستم

در این بخش، در مورد ساختار کلی EmotionSense  در ارائه گزینه های طراحی مهم و ویژگی های هر یک از مؤلفه های این سیستم به بحث می پردازیم.

نگاهی اجمالی بر EmotionSense

سیستم EmotionSense حاوی چند سنسور پایشی می باشد که  بر اساس موتور استنتاج منطقی (logic inference) و دو پایگاه داده اظهاری(declarative database) (پایه کنش و پایگاه دانش) دارای چارچوب انطباقی و قابل برنامه ریزی می باشد. هر پایش ریسمانی می باشد که رویدادهای روزانه را در پایگاه دانش ثبت می نماید و مخزنی از همه اطلاعات استخراج شده از سنسورهای درون برد تلفن می باشد. این سیستم مبتنی بر مشخصه های اظهاری (با استفاده از مستندات منطقی مرتبه اول) می باشد:

• وقایع، یعنی، دانش استخراج شده از سنسورهایی در مورد رفتار کاربر (از قبیل احساسات وی) و / محیط وی(مانند هویت افراد درگیر در مکالمه با وی).


•  کنش ها، به عنوان مثال، مجموعه ای از فعالیت های سنجشی می باشند که در آن سنسور ها باید توسط چرخه های کاری مختلف از قبیل صدای ضبط شده (در صورت وجود) به مدت 10 ثانیه اجرا شده یا هر دو دقیقه فعالیت فعلی را استخراج نمایند.

 

شکل 1. بازیابی خبر در EmotionSense

اقدامات سنجش به صورت دوره ای با استفاده از موتور استنتاج (inference engine) و مجموعه قوانین تعریف شده توسط کاربر (مجموعه ای پیش فرض ارائه شده است)، انجام می شود. این اقدامات باید توسط سیستمی ذخیره شده در پایگاه کنش اجرا شود. پایگاه کنش بصورت دوره ای توسط مدیرEmotionSense  ارزیابی می شود، وی با توجه به اقدامات برنامه ریزی شده در پایگاه کنش مسئول نظارت بر این سیستم است. کاربران می توانند وظایف و قوانین سنجش تفسیر شده توسط موتور استنتاجی (inference engine) را به منظور پذیرش پویای اقدامات سنجشی انجام شده توسط سیستم تعریف نمایند. یک نمونه از این قانون گیرنده GPS می باشد که تنها در صورتی که کاربر در حال حرکت باشد، شروع به کار می نماید. جریان اطلاعات در EmotionSense در شکل 1 نشان داده شده است.

مدیر  EmotionSense

مدیرEmotionSense  همه سنسورهای پایش و موتور استنتاج را بوسیله پایگاه دانش به کار می اندازد. هر پایش ریسمانی می باشد که داده ها را از سنسورها توسط چرخه کاری معین جمع آوری می نماید. مدیر EmotionSense بطور دوره ای موتور استنتاج را برای پردازش آخرین وقایع پایه دانش فرا می خواند و از فعالیت های ذخیره شده در پایگاه کنش استفاده می کند. در این هنگام مدیر مسئول برنامه ریزی همه اقدامات سنجشی می باشد. اقدامات سنجشی با به روز رسانی حالات و پارامترهای هر پایش و با توجه به اقدامات ایجاد شده توسط موتور استنتاج برنامه ریزی شده اند. اقدامات خروجی نمونه در فاصله نمونه گیری توسط سنسور GPS، سنسور شتاب سنج و غیره تنظیم شده اند.

مولفه های تشخیص صدا  و احساسات

این پایش مسئول تشخیص صدا  و احساسات است. نمونه های صوتی را با فواصل نمونه گیری متغیر ضبط می نماید. هر نمونه برای استخراج اطلاعاتی در مورد گوینده و احساسات و با مقایسه این اطلاعات با مجموعه ای از احساسات از پیش بارگذاری شده و الگو های وابسته به گوینده  که بطورآفلاین در مرحله راه اندازی سیستم جمع آوری شده، پردازش شده است. مدیر EmotionSense این پایش را توسط آخرین داده های موقعیت مشترک (co-location) (که از طریق بلوتوث به دست آمده است) به روز رسانی می کند. بنابراین، تنها الگوهای مرتبط با کاربران مکان یابی شده باید مورد بررسی قرار گیرد و کارایی و دقت مولفه بازشناسایی گوینده بهبود یابد. مولفه بازشناسایی گوینده نیز دربردارنده یک الگوی سکوت می باشد. زمانی که هیچ گوینده ای تشخیص داده نشود، الگوریتم طبقه بندی احساسات بشدت محاسباتی اجرا نمی شود. جزئیات این زیر سیستم در بخش بعدی ارائه شده است.

سنسور های پایش

این سیستم مبتنی بر چندین سنسور پایش می باشد. مانیتور شتاب سنج (Accelerometer Monitor) فعالیت فعلی را با ارزیابی میانه و میانگین دامنه شتاب سنج سیگنال استنباط می نماید. این حرکت با استفاده از دسته کننده تابع تشخیص (discriminant function) استخراج می شود. این دسته کننده  قادر است تا بین دو نوع فعالیت تمایز ایجاد نماید: حرکت و عدم تحرک. هدف اصلی طراحی این نمونه نخستین(prototype)، تشخیص اقدامات پیچیده نیست؛ در واقع، بسیاری از دسته کننده ها را می توان به مثال های ارائه شده در [22] وصل نمود. پایش بلوتوث (Bluetooth Monitor) مسئول تشخیص سایر دستگاه های بلوتوثی می باشد که در مجاورت آن قرار دارند و برای کسب این اطلاعات در پایتون برای سیمبین S60 (PyS60) از ماژول لایت بلو(lightblue) استفاده نموده ایم. هنگامی که سیستم راه اندازی شد، شناسه بلوتوث گوشی با سایر کاربران ارتباط برقرار می نماید. در نهایت، جهت مشاهده متن کامل، فایل ترجمه را دانلود نمایید.

پایگاه کنش و دانش

یکی دیگر از مشخصه های اصلی سیستم پایگاه دانش می باشد و در آن حقایق فعلی استنباط شده از داده های خام ایجاد شده توسط سنسور های مختلف ذخیره می شود. همه پایش ها حقایق را در  پایگاه دانش وارد می نمانید و به نوبه خود برای ایجاد کنش  توسط موتور استنتاج مورد استفاده قرار می گیرند. پایگاه دانش برای کاهش جای پای برنامه (application footprint)، تنها تصویر لحظه ای وقایع را در حافظه بارگذاری می کند (به عبارت دیگر، نه تنها تمام وقایع تاکنون ایجاد شده بلکه وقایع پردازش نشده را بارگذاری می کند). وقایع قدیمی تر را در یک فایل وارد می نماید. قالب وقایع به شرح زیر است:

fact(, )

مهرهای زمانی (timestamps) متناظر این وقایع نیز ذخیره می شوند. کنش ها نیز با یک شناسه اضافی به شرح ذیل، نوعی وقایع تلقی می گردند:

fact(‘action’, , )

برخی از نمونه ها عبارتند از:

fact(Activity, 1)

fact(‘action’,  ‘ActivitySamplingInterval’,  10)

نمونه اول نشان می دهد که کاربر در حال حرکت است و نمونه دوم بدان معنی است که فاصله نمونه گیری از شتاب سنج باید در 10 ثانیه تنظیم شود.

موتور استنباط

چارچوب انطباق مبتنی بر مجموعه ای از قوانین انطباقی می باشد که در زمان اجرا از طریق نظارت بر فعالیت های فعلی، موقعیت مشترک (co-location) با افراد دیگر و موقعیت شخص در حال حمل تلفن همراه، اجازه تغییر رفتار سیستم را می دهد. از قوانین انطباق با توجه به وضعیت مشاهده شده از کاربر (به عنوان مثال، اگر شخص در حال حرکت باشد یا ساکن باشد) و محیط اطراف وی (به عنوان مثال، اگر افراد دیگری اطرافش باشد، اگر آنها در حال صحبت کردن باشند و غیره)، برای تغییر رفتار سیستم نمونه گیری استفاده می شود. چارچوب انطباق با کاهش مقدار نمونه گیری داده ها و پردازش اطلاعات بدون به خطر انداختن قابل ملاحظه دقت استنتاج ، به ذخیره انرژی کمک می کند. در بخش پیاده سازی جزئیات ی در مورد موتور استنتاج ارائه می دهیم.

پیاده سازی

در این بخش ارائه جزئیات بیشتری در مورد پیاده سازی مولفه های اصلی سیستم مان ارائه می نماییم و گزینه های طراحی کلید و راه حل های اصلی را توصیف می نماییم. سیستمEmotionSense  را با استفاده از PyS60 برای تلفن همراه نوکیا نویگیتور 6210 برای اکثر مولفه ها پیاده سازی نمودیم. مولفه تشخیص صدا  در C⁺⁺ پیاده سازی شد، زیرا این برنامه مبتنی بر مجموعه برنامه های ToolKit مدل پنهان مارکوف (HTK) برای پردازش گوینده می باشد که بصورت اوریجینال به این زبان  نوشته شده است.

زیر سیستم تشخیص صدا   

زیر سیستم تشخیص صدا  بر اساس طبقه بندی کننده مدل مخلوط گوسی می باشد که با استفاده از HTK پیاده سازی شده است. HTK یک ابزار قابل حمل برای ایجاد و دستکاری مدل پنهان مارکوف (HMM) و مدل مخلوط گوسی(GMMs) و امکانات پیشرفته برای تجزیه و تحلیل گفتار، آموزش مدل، آزمایش و تجزیه و تحلیل نتایج فراهم می کند. در حال حاضر،HTK  صرفاً در سیستم های ویندوز و لینوکس موجود است. بنابراین اضافه کردن مولفه های اصلی جعبه ابزار برای کار بر روی پلت فرم های نوکیا سیمبین S60 امری ضروی بود.

فرایند بازشناسایی گوینده به شرح زیر است:

• داده های جمع آوری شده از تمام کاربران در مطالعه تجربی حاضر وارد فهرست شد. سپس داده ها با استفاده از نرخ فریم 10ms  و اندازه پنجره 30ms  و بردار ضرایب ادراکی خطی پیش بینی شده32 (PLP) (16 استاتیک و 16 دلتا) از هر فریم استخراج شده اند.


• سپس پس زمینه همگانی مولفه 128GMM (نماینده تمام گویندگان) با استفاده از ثبت تمام گفتارهای موجود برای بهینه سازی معیار حداکثر احتمال(maximum likelihood criterion) آموزش داده می شود. این روش آموزش در حال حاضر بصورت آفلاین اجرا می شود. با این حال، روش آموزش می تواند با استفاده از اتصال WiFi یا3G ، در زمان اجرا با ارسال نمونه ها به سرورهای اصلی پایگاه داده (back-end servers) اجرا شود.


• در مرحله بعد، مجموعه ای از GMMهای وابسته به کاربر با انطباق بیشینه‌گر احتمال پسین (Maximum A Posteriori) (MAP) مدل پس زمینه و با استفاده از داده های ثبتی مرتبط به هر کاربر بدست می آید. برای فرایندMAP  تعیین شده در 15 از انطباق ثابت اسفاده می شود.


• در نهایت، احتمال هر یک از توالی های صوتی در زمان اجرا، مدل کاربری معینی را محاسبه می نماید. سپس هر توالی با مدلی مرتبط می شود که بعنوان بیشترین احتمال تعیین می شود. در این مدل قانون تصمیم گیری بیز (Bayes decision rule) می باشد که به احتمال پیشین (prior probability) هر کاربر مرتبط شده و این احتمال برای هر دو برابر است. 

به منظور بهبود دقت و بهره وری از سیستم، دو مکانیسم کلیدی پیاده سازی شده است:

• تشخیص سکوت. تشخیص سکوت می تواند با حذف نیاز به مقایسه هر توالی با هر مدل وابسته به کاربر، کارآیی سیستم را بهبود بخشد. تشخیص سکوت با آموزش GMM اضافی و با استفاده از داده های اصوات خاموش ثبت شده تحت شرایط پس زمینه مشابه با داده های ثبت نامی انجام شده است. در ابتدا هر توالی صوتی در مقایسه احتمال توالی و با توجه به سکوت و GMMهای پس زمینه به عنوان سکوت یا عدم سکوت طبقه بندی شد. همچنین می توان آشکارساز سکوت برای استنباط اطلاعاتی در مورد محیط کاربر، الگوهای خواب و غیره استفاده نمود.


• مقایسه های هدایت شده توسط اطلاعات موقعیت مشترک. مولفه تشخیص صدا  برای کاهش تعداد مقایسه های مورد نیاز، توالی ثبت صدا را تنها با الگوهای توالی مرتبط با کاربران واقع در یک موقعیت مقایسه می نماید. موقعیت مشترک وقایع استخراج شده توسط پایش بلوتوث به دست آمده است . این امر موجب اجتناب از مقایسه های غیر ضروری در برابر الگو های افرادی می شود که در نزدیکی کاربر نیستند و بطور قابل توجهی به فرایند تشخیص سرعت بخشیده و به طور بالقوه ای مانع از طبقه بندی اشتباه توالی متعلق به کاربران غایب می شود.  

زیر سیستم تشخیص احساسات

زیرسیستم تشخیص احساسات مبتنی بر طبقه بندی GMMمی باشد. طبقه بندی کننده با استفاده از گفتار احساسی برگرفته از بیان احساسات در گفتار (Emotional Prosody Speech ) و توابع رونوشت، توابع معیار استاندارد در احساسات و پژوهش پردازش گفتار آماده شده است. این مجموعه شامل ضبط سخنان معنایی خنثی (تاریخ ها و شماره ها) بازیگران حرفه ای می باشد که چهارده مجموعه احساسی متمایز را در بردارد. این انتخاب بر اساس بررسی بانس و شرر در مورد عبارات احساسی و آوایی (vocal emotional expression) می باشد. بازیگران شرکت کننده توصیفی از هر یک از زمینه های احساسی، از جمله نمونه های موقعیتی اقتباس شده از مطالعه اصلی ارائه می نمایند. برای نشان دادن مجموعه ای از تاریخ ها و شماره های چهار هجایی در مقوله احساسی مناسب ، از فلش کارت استفاده شده است.

فرایند بازشناسایی احساسات به شرح زیر می باشد:

• پس زمینه GMM مولفه 128 حاکی از تمام گفتاراحساسی می باشد و در اصل با استفاده از تمام داده های احساسی آماده شده است.


• انطباق MAP در مدل پس زمینه بصورت آفلاین و با استفاده از سخنان احساسی خاص در پایگاه داده احساسات انجام شده و مجموعه ای از الگوهای وابسته به احساسات را احراز می نماید. سپس این مدل ها را بر روی تلفن های همراه بارگذاری می شوند.


• این مولفه در زمان اجرا، بطور دوره ای احتمال توالی صوتی ضبط شده را با توجه به هر یک از الگوهای احساسی وابسته محاسبه می نماید و توالی مشخص شده با بالاترین احتمال را تعیین می نماید.

در ابتدا مجموع 14 احساس «محدود» را بر اساس کلاس های تعریف شده در تابع احساسات آزمودیم. سپس این مجموعه ها توسط روانشناسان اجتماعی در پنج گروه احساسی استاندارد گسترده تر گروه بندی شدند. اینکه بتوان با دقت زیاد بین سخنان مربوط به احساسات مشابه در کلاس معین  تمایز ایجاد نمود، کار دشواری است. به هر حال، خاطر نشان می نماییم که برای فرد درگیر در آزمایش نیز ایجاد تمایز در میان احساسات متعلق به کلاس یکسان در پرسشنامه کار دشواریست و به همین دلیل، معمولاً از کلاس های گسترده استفاده شده است. جزئیات مربوط به هر گروه بندی در جدول 1 نشان داده شده است.

 

جدول 1. دسته بندی احساسات

احساس گسترده	احساس محدود
شادی	سرخوشی، رغبت، شادی
غم	غمگینی
ترس	وحشتزدگی
خشم	نفرت ، سلطه گری، خشم آتشین
بی طرفی	بهنجاری بی طرف، مکالمه بی طرف، عدم صمیمیت بی طرف، حرف های خصوصی بی طرف، بی حوصلگی بی طرف، غیرفعال بودن

 

 

set_location_sampling_interval

foreach

facts.fact($factName, $value)

check $factName == ’Activity’

facts.fact($actionName, $currentInterval)

check $actionName == ’LocationInterval’

$interval = update($value, $currentInterval)

assert

facts.fact(’action’, ’LocationInterval’, $interval)

شکل 2. قانون نمونه برای تنظیم نرخ نمونه گیری سنسور GPS

 

چارچوب انطباق

چارچوب انطباق مبتنی بر پایک می باشد، که یک موتور استنتاج مبتنی بر دانش است که در پایتون نوشته شده است. این موتور استنتاج  مجموعه ای از وقایع را بعنوان داده های ورودی اتخاذ می نماید و وقایع اضافی را از طریق  قوانین زنجیره ای رو به جلو استنتاج می نماید. همچنین می توان با استفاده از قوانین زنجیره ای رو به عقب برای اثبات اهداف از آن استفاده  نمود. با این حال، این ها برای سیستم ما ضروری نیستند و زمان اتخاذ پایک در پلت فرم نوکیا سیمبین 60 به منظور کاهش اثرات حافظه حذف شدند. ما قوانین انطباقی را تعریف نموده ایم که کل رفتار سیستم EmotionSense را تحریک می نماید. هر یک از این قوانین، فاصله نمونه گیری از سنسور را بر اساس اطلاعات استخراج شده از آن تنظیم می نمایند. مدیر EmotionSense  موتور استنتاج پایک را معرفی می نماید و برای پردازش وقایع و ایجاد کنش صورت دوره ای از آن استفاده می کند و به نوبه خود وظایف سنسورهای پایش را به روز رسانی می نماید. 

نمونه ای از یک قانون مورد استفاده در سیستم EmotionSense در شکل 2 نشان داده شده است. این قانون ارزش مکانی فاصله نمونه گیری را بر اساس داده های سنسور شتاب سنج به روز رسانی می نماید. فعالیت واقعی (fact Activity ) و مکان فعلی فاصله نمونه گیری LocationInterval را از پایگاه دانش دریافت می نماید و سپس آن را بر اساس تابع ( ()update) به روز رسانی می نماید. به نظر می رسد، ارائه یک رابط کاربری ساده برای اضافه کردن قوانین به منظور تغییر رفتار سیستم مطلوب باشد. همانطور که در شکل 3 نشان داده شده، در سیستمEmotionSense ، تابع update() مبتنی بر مکانیسم عقب کشی می باشد. اگر کاربر در حال حرکت باشد، آنگاه فاصله نمونه گیری در حداقل مقدار تنظیم می شود، در غیر اینصورت تا زمانی که به حداکثر مقدار برسد، به دو برابر افزایش می یابد. تا زمانی که کاربر غیر فعال باشد، فاصله نمونه گیری در حداکثر مقدار باقی می ماند، اما به محض اینکه حرکت تشخیص داده شد، درحداقل مقدار تنظیم می شود. علاوه بر سنسورGPS، قوانین مشابهی برای سنسور میکروفن، سنسور بلوتوث و سنسور شتاب سنج داریم. به این ترتیب، کاربران برای اینکه سیستم با تغییرات خارجی انطباق یابد، می توانند توابع بسیار ساده ای بنویسند. پارامترهایMIN_INTERVAL و  MAX_INTERVAL نقش مهمی در تابع عقب روی(back-off function) دارند. ما به منظور یافتن مقادیر بهینه این پارامترها، برای هر یک از سنسورها  آزمایشات محک فراوانی انجام دادیم. ما نتایج برخی از این آزمایشات را به عنوان مثال روش شناختی در بخش بعدی ارائه خواهیم نمود.

def update(value, currentInterval):

if value == 1:

samplingInterval = MIN_INTERVAL

elif value == 0:

samplingInterval = min(2*currentInterval, MAX_INTERVAL)

return samplingInterval

شکل 3. تابع عقب گردان برای بروز رسانی فاصله نمونه گیری

ارزیابی

ابتدا با استفاده از چندین آزمایش محک میکرو برای بررسی عملکرد سیستم EmotionSense  را ارزیابی می نماییم و پارامترهای مکانیسم انطباق را تنظیم می نماییم. به طور خاص، در مورد گزینه ارزش طول نمونه مطلوب برای تشخیص احساسات و سخنگو و روش شناختی عمومی برای انتخاب مقادیر بهینه برای پارامترهای قوانین، به بحث می پردازیم. آزمایشات اولیه دربردارنده 12 کاربر می باشد. سپس به منظور بررسی نمونه اولیه در یک محیط واقع گرایانه، نتایج حاصل از آماده سازی را در مقیاس بزرگتر با 18  کاربر به مدت 10 روز شرح می دهیم و سودمندی آن را برای علوم اجتماعی نشان می دهیم.

معیارهای عملکرد

یک سری از معیارهای میکرو را برای آزمودن عملکرد مولفه ها و مکانیزم های سیستم مان به اجرا در می آوریم. داده های مورد استفاده برای تعیین معیار قوانین انطباق از 12 کاربر در طول 24 روز جمع آوری شد. هر کاربر یک گوشی نوکیا 6210  در دست داشت، که به طور مداوم داده های خروجی سنسور شتاب سنج، میکروفن و سنسور بلوتوث را نظارت و ضبط می نمود. سپس از این داده ها به عنوان معیاری برای ردیابی مولفه های مختلف و تنظیم پارامترهای مختلف سیستم استفاده نمودیم. همانطور که بعداً در این بخش بحث خواهیم نمود، از داده های مختلف برای تعیین معیار گوینده و احساسات زیر سیستم های بازشنایی استفاده نمودیم. همچنین رابطه جایگزینی را در محاسبات محلی بر روی تلفن مورد بررسی قرار داده و محاسبات سرور متصل به شبکه را از راه دور کنترل می نماییم .

تشخیص صدا

در این بخش، نتایج حاصل از معیارهای زیر سیستم در تشخیص صدا را ارائه می نماییم. برای این آزمون، نمونه های صوتی 10 کاربر بمدت 10 دقیقه برای آموزش مدل های وابسته به گوینده مورد استفاده قرار گرفت. برای آزمایش دقت مولفه تشخیص صدا از مجموعه داده ای مجزا و بسط یافته استفاده شد. ما طول نمونه را از 1 تا 15 ثانیه تغییر دادیم و هر نمونه در برابر 14 الگوی احتمالی طبقه بندی شد. برای هر کاربر به ازای طول هر نمونه، از 15 نمونه استفاده نمودیم و در نتیجه برای طول نمونه آزمون به مجموع 150 نمونه دست یافتیم. شکل 4 دقت تشخیص صدا  را با توجه به طول نمونه نشان می دهد. طول نمونه دقت بهبود یافته را افزایش می دهد و همگرایی برای طول نمونه بیشتر از 4در حدود 90٪ است. از شکل 5، می توان مشاهده نمود که این امر با تاخیر 55 ثانیه ای در محاسبات محلی گوشی مطابقت دارد.

جهت مشاهده متن کامل، فایل ترجمه را دانلود نمایید.