تشخیص اشیا از طریق شناسایی رفتار کاربر با استفاده از شبکه های دوربین در خانه های هوشمند

خلاصه

در سال های اخیر محیط خانه های هوشمند به یک موضوع تحقیقی مهم تبدیل شده است. هدف ما در این مقاله تشخیص اشیا براساس شناسایی رفتارهای پرتکرار افراد خانه می باشد. در گذشته شناسایی اشیا معمولا با توجه به شکل ظاهری آنها بود .سپس با یک مجموعه آموزشی بزرگ، اشیا در اشکال متفاوت تشخیص داده می شدند. در این روش هدف، شناخت اشیا و نیز پیش بینی رفتارها از طریق ایجاد ارتباط و تعامل افراد با اشیا است.

همچنین انسان ها رفتارهای ثابت و قابل پیش بینی در محیط خانه های خود دارند .برای مثال هر انسانی در محیط خانه خود علاقه مند به مطالعه در یک بخش خاص از خانه و نیز اکثرا بر روی یک مبل خاص و در یک زمان خاص می باشد .بنابراین می توانیم از طریق شناسایی افراد و نیز رفتارهای پرتکرار آنها، تشخیص اشیا را ساده تر از گذشته انجام دهیم.

1 . مقدمه

انسان به شیوه ها و روش های متعدد و گوناگونی با محیط خود ارتباط و تعامل پیدا می کند .انسان ها دریافته اند که باید در برابر شرایط محیطی و کنش ها، عکس العمل نشان دهند و یا اینکه خود را بر اساس آنها سازگار سازند. یک خانه ی هوشمند ، خانه ای است شبیه به یک محیط دارای هوشمندی وکنترل اتوماتیک و پاسخگویی به رفتار ساکنان که امکانات مختلفی را به آن ها ارایه می دهد .امروزه خانه های هوشمند در سراسر جهان کاربردهای بسیار متنوعی در زمینه های مراقبت از سالمندان، مراقبت از کودکان، فراهم کردن بهداشت و درمان و غیره دارند. هدف آنها فراهم کردن سرویس هایی برای ارایه خدمات به ساکنان با استفاده از شناسایی و تشخیص رفتارهای افراد خانه های هوشمند و یا تشخیص شرایط سلامتی آنها است .علاوه برکاربردهای شناسایی و تشخیص رفتارهای افراد خانه های هوشمند در زمینه هایی که بیان شد، می توان از این کاربردها برای شناسایی و تشخیص اشیا نیز بهره گرفت .در گذشته، روش های تشخیص اشیا بر اساس شکل ظاهری اشیا بود .در روش تشخیص اشیا بر اساس شکل ظاهری به دسته بندی اشکال مختلف اشیا، یادگیری و همچنین آموزش تصاویر و الگوها نیازمند هستیم. از این رو افزایش الگو ها و تصاویر درجهت آموزش می توانند دست و پاگیر و پر هزینه باشد. بنابراین بهتر است از فعالیت های افراد محیط خانه های هوشمند برای تشخیص اشیا استفاده شود. زیرا فعالیت ها و تعاملات افراد با اشیا می توانند اطلاعات مفید تر و دقیق تری را در اختیار ما قرار دهند.

دلیل دیگر برای شناسایی اشیا از طریق رفتار انسان این است که بسیاری از اشیا در محیط مانند صندلی، میز، فنجان، مبلمان و غیره اشکال گوناگونی دارند .بنابراین نمی توان گفت، برای مثال یک میز یا صندلی حتما دارای یک شکل خاص و اندازه ای مشخص است. یا اینکه یک شی می تواند آنقدر در اندازه ی کوچکی باشد، که شاید نتوان آن را از طریق دوربین های موجود در محیط تشخیص داد .همچنین انسان ها رفتار های ثابت و قابل پیش بینی ای در محیط خانه های خود دارند. برای مثال هر یک از ما انسان ها در محیط خانه های خود برای مطالعه کردن، علاقه مند به مطالعه در یک بخش خاص از خانه و نیز اکثرا بر روی یک مبل یا صندلی مشخصی و نیز حتی در یک زمان خاصی در روز می باشیم .این زمان های خاص یعنی رفتارهای پرتکرار افراد که قابل پیش بینی می باشند .بنابراین برای این منظور، روش تشخیص اشیا از طریق فعالیت و رفتار های انسان می تواند نتیجه ی بهتری را در این زمینه برای ما به همراه داشته باشد .

در جهت تشخیص اشیا به کمک رفتارهای افراد، تعامل بین اشیا و رفتارهای افراد به عنوان یک عامل اصلی و تعیین کننده ای محسوب می شود .حال این تعامل و رفتار اشیا با انسان، به سه طریق می تواند باعث شناسایی و تشخیص اشیا شود .رفتار مستقیم، مثل نشستن که اشاره به وجود یک مبل دارد که می توان گفت کاربر بر روی آن نشسته است. رفتار متوالی به عنوان مثال، اگر در آشپزخانه مشاهده شود، کاربر ابتدا وسیله ای را از یک مکان خاصی به بیرون می کشد و سپس آن وسیله را در یک مکان نزدیک دیگری قرار می دهد و سپس مجددا آن وسیله را بیرون می کشد و در یک مکان می نشیند و مشغول به غذا خوردن می شود، به احتمال زیاد استنباط از توالی گفته شده این است که مکان اول ممکن است حاکی از یخچال و مکان دوم حاکی از مایکروویو و مکان سوم نیز حاکی از میز ناهارخوری باشد .رفتار همزمان، به عنوان مثال اگر مشاهده شود کاربر به یک جهت ثابت در زمان های مختلفی در روز خیره می شود، می توان نتیجه گرفت در آن مکان تلویزیون قرار دارد

می توانیم برای مدل سازی رفتارهای انسان در ارتباط با اشیا از مدل های گرافیکی دارای احتمال استفاده کنیم. ممکن است که چنین روابطی در کاربردهای واقعی بسیار پیچیده باشند .علاوه بر این اضافه کردن و گنجاندن و یا حذف یک متغییر و یا اصلاح یک رابطه و بسیاری از تغییراتی دیگر ممکن است در یک مدل گرافیکی اتفاق بیفتد .همچنین می توانیم با استفاده از یک شبکه منطقی مارکوف و با خروجی پردازش بینایی و استدلال در سطح بالا، این کار را انجام دهیم. شبکه منطقی مارکوف می تواند به عنوان الگو برای ساخت شبکه های مارکوف در نظر گرفته شود .همچنین هدف استفاده از MLN در روابط بینایی و استدلال معنایی و رمز گذاری، ساختار ارتباطی بین اشیا و فعالیت های کاربر در پایگاه دانش است.

روش های دیگری نیز برای تشخیص اشیا، بر اساس موقعیت آن ها و تصاویر به دست آمده از اشیا با استفاده از دوربین تلفن همراه برای کنترل اشیا در محیط خانه های هوشمند ارائه شده است .در این روش تشخیص اشیا از ثبت و یا سابقه استفاده شده است .این روش شامل دو روش ثبت پانوراما مستقیم و نیز ثبت دو مرحله ای می باشد، که روش های ساده ای در جهت بالا بردن و نیز مختصر کردن تعاملات و کنترل خانه های هوشمند با استفاده از روش های تشخیص بصری و یا ظاهری هستند.

همچنین برای تشخیص اشیا به واسطه تحلیل رفتار انسان از مدل DMP برای تشخیص اشیا در تصاویر با کنتراست کم استفاده شده است .

روش DPM شرایط را برای تشخیص شی در کنتراست کم و تصاویر عریض برآورده می کند .همچنین برای تشخیص حضور انسان در محیط خانه های هوشمند از تجزیه و تحلیل سیگنال حرارتی استفاده شده است، که با استخراج حداکثر اطلاعات قابل اعتماد با استفاده از حداقل سنسور های ممکن یک راه حل ایده آل را برای تشخیص حضور انسان در یک محیط هوشمند فراهم می سازد. چنین سیستم هایی وابسته به سیگنال مادون قرمزی هستند که توسط سنسورهای Thermopile برای تشخیص حضور انسان در یک محیط تحت نظارت تولید شده اند .برعکس شبکه های حسگر مادون قرمز Pyroelectric باینری بی سیم از روش KNN3 که یک مدل تحت نظارت می باشد به منظور ایجاد و ساختن یک مدل طبقه بندی استفاده شده است .

حال به بررسی روش های جدید و بهینه شده ای برای تشخیص اشیا از طریق شناسایی رفتار انسان می پردازیم. ساختار این مقاله به شرح زیر است: کارهای مرتبط در این زمینه را در بخش دوم بیان می کنیم و پس از تعریف مسئله در این بخش، در بخش سوم روش های پیشنهادی و محدودیت هایی که با آن ها روبرو هستیم را مورد بررسی و تحلیل قرار می دهیم. در بخش چهارم تجزیه و تحلیل فعالیت ها را نشان داده و در نهایت نتیجه گیری نهایی در بخش پنجم ارائه خواهد شد .
2. کارهای مرتبط
1.2. شناسایی اشیا از طریق فعالیت انسان

با استفاده از فعالیت های انسانی به عنوان یک زمینه برای شناسایی اشیا مبتنی بر مدل سازی، می توان به ارتباط بین فعالیت های افراد و اشیا در جهت استنتاج و شناسایی فعالیت ها دست یافتGupta . و Davis تشخیص فنجان، تلفن، چراغ قوه و غیره در زمان حرکت انسان و در هنگام استفاده از آن شی، را از طریق ردیابی مبتنی بر ظاهر مورد مطالعه و بررسی قرار دادند. همچنین نویسندگان عامل شناختی و ادراکی مبتنی بر معماری یا R-CAST را به همراه اطلاعات چند متنی یا محتوایی در جهت کمکی برای تصمیم گیری به کار بردند. در Moeslund et al. و همکاران بررسی های خوبی را در سطوح مختلف، برای شناسایی فعالیت ها و روش های مربوطه ارائه دادند .با این حال بسیاری از این تکنیک ها در تنظیمات طبیعی به چالش کشیده شده اند و محاسباتی پیچیده ای دارند و برطبق برآوردها در یک فضایی با ابعاد بزرگ ساخته شده و مورد بررسی قرار می گیرند.

2.2. شناسایی فعالیت انسان و اشیا از طریق سنسور

بسیاری از سنسورهای موجود درجهت تشخیص اشیاء و حالت قرارگیری انسان برای AAL مناسب نیستند. به عنوان مثال، یک دوربین با رزولوشن VGA برای پاسخگویی به نیاز ها و نیز پوشش دادن بخش بزرگی از اتاق کافی نیست. همچنین دیگردوربین های موجود، مانند اسکنر لیزری و دوربین TOF گران قیمت هستند .جدیدترین تکنولوژی هایی که گزارش شده اند برای حمایت و پشتیبانی از سالمندانی می باشند که به تنهایی زندگی می کنند. به عنوان مثال، سنسور مادون قرمز (PIR) درجهت شناسایی جابجایی و حرکت اشیاء و همچنین سنسورهای نقطه ورود برای تشخیص وضعیت باز و بسته شدن درب یا پنجره مورد استفاده قرار می گیرند. در پروژه CAPTH OM از یک سیستم چند سنسوری برای تشخیص حضور انسان به منظور شناسایی یک وضعیت اضطراری استفاده شده است . اشکالات اصلی سیستم های دارای سنسور، نرخ بالای آلارم کاذب و عدم تشخیص افراد ثابت می باشند.

 3. روش ها

در روش ارائه شده، برای تشخیص و شناسایی فعالیت های کاربر از استدلال ها و الگوهای از پیش تعیین شده و نیز رفتارهای پر تکرار افراد که در یک پایگاه دانش موجود است، در یک محیط هوشمند کاربر محور استفاده می شود. از طریق شناسایی این فعالیت ها نیز می توان اشیایی مانند مبل، صندلی، تلویزیون و غیره را در سه لایه و در یک محیط هوشمند تشخیص داد.  (شکل1).

شکل 1 : ساختار سه لایه اي الگوریتم تشخیص اشیا

پایین ترین لایه، به تجزیه و تحلیل تصاویر دوربین اشاره دارد و یکی از ویژگی های استخراج شده برای استنباط فعالیت ها می باشد .لایه ی میانی، فعالیت ها را شناسایی و تحلیل کرده و نتایج آن به عنوان ورودی سطح سوم استدلال مورد استفاده قرار می گیرد .سومین لایه یا لایه ی بالایی، نمونه ای از فعالیت های کاربر موجود در پایگاه دانش از طریق MLN است .با استفاده ازMLN  می توانیم احتمال وقوع هریک از فرمول ها در پایگاه دانش را بدست آوریم و با استفاده از توزیع احتمال، مکان یک شی را استنتاج و استنباط کنیم

همانطور که گفته شد لایه های اول و دوم جزو مهم ترین لایه ها هستند. زیرا در ابتدا باید فعالیت کاربر شناخته شده و در پی این شناسایی فعالیت، تا اشیا درتعامل با کاربر تشخیص داده شوند . تصویر دقیق تری از تجزیه و تحلیل فعالیت های سلسله مراتبی در شکل 2 نشان داده شده است.

شکل 2 : تجزیه و تحلیل فعالیت هاي سلسله مراتبی از طریق انواع مختلف از ویژگی هاي تصویر

به بیان دقیق تر پس از تجزیه و تحلیل فعالیت ها با استفاده از شبکه های دوربین، پیش زمینه استخراج می شود. پس از استخراج پس زمینه، فعالیت های کاربر با استفاده از میدان تصادفی شرطی و از طریق به کارگیری مجموعه ای از ویژگی های فرد در شبکه طبقه بندی می شوند .

میدان تصادفی شرطی یک مدل آماری است که در یادگیری ماشین کاربرد دارد. در حالت کلی استنتاج میدان تصادفی شرطی بسیار شبیه به میدان تصادفی مارکوفی است. در مرحله بعد از برخی دیگر از ویژگی های تصویر استفاده می شود .به عنوان مثال زمانی که حالت ایستادن فرد به همراه حرکتی از او تشخیص داده شود، به منزله راه رفتن کاربر و همچنین تشخیص چهره زمانی که فرد نشسته است، برای شناسایی عمل نگاه کردن طبقه بندی می شود.

4. تجزیه و تحلیل فعالیت ها

تجزیه و تحلیل فعالیت های کاربر در خانه های هوشمند نقش بسیار مهمی را در طراحی و ارائه خدمات به صورت اتوماتیک ایفا می کند .زیرا برای تشخیص اشیا از طریق فعالیت های کاربر، اولین کار این است که فعالیت های کاربر را تجزیه و تحلیل کنیم. سپس از طریق شناسایی این فعالیت ها، اشیا مورد نظر را تشخیص می دهیم .

در برای تشخیص حرکت و فعالیت انسان از دوربین های مدار بسته با یک سیستم بازخورد استفاده می شود . در این روش از دو کلاس طبقه بندی، تشخیص حرکت مبتنی بر پیکسل و الگوریتم مبتنی بر حرکت بر اساس یک ناحیه خاص برای تشخیص حرکت استفاده می کند . همچنین این سیستم در مکان های حساسی مانند بانک، موزه و زندان که در آنها حرکات مشکوک و خطرناکی رخ می دهد استفاده می شود .

معمولا افراد عضو یک خانه دارای رفتارها و اعمال ثابتی در طول روز هستند و به ندرت اعمال متفاوتی از آنها سر می زند. چون هر فردی علایق و عادت های مخصوص به خود را دارد . به عنوان مثال برای مطالعه یک بخش خاصی از را خانه ترجیح می دهیم، مثلا اتاق نشیمن و یک مبل خاص .

همچنین تنها بخشی از محیط خانه دائما در حال استفاده می باشد و سایر مکان ها و محیط های خانه فقط به منظور یک راه عبوری مورد استفاده قرار می گیرند و فعالیت خاصی در آن مکان ها صورت نمی گیرد. حال ما با بررسی رفتار های افراد خانه های گوناگون به این نتیجه رسیدیم ، علاوه بر اینکه این چنین رفتارها در افراد خانواده ثابت بوده و در یک مکان خاصی انجام می گیرند ، بلکه اکثرا در یک محدوده زمانی خاصی از روز نیز اتفاق می افتند.

حال پس از تجزیه و تحلیل فعالیت های کاربر و استخراج آنها، ما باید این ویژگی ها یا فعالیت ها را طبقه بندی کنیم . همچنین می توانیم این فعالیت ها را با استفاده از یک دوربین به صورت پیوسته و نیز در یک بازه زمانی خاص، شناسایی و دسته بندی کنیم .فعالیت های مختلف ممکن است ساختارهای زمانی متفاوتی نیز داشته باشند . همچنین مشاهدات به صورت پیوسته و در یک بازه زمانی می توانند مشاهدات را از فریم های همسایه خود نیز دریافت کند تا اطلاعات کامل تری را از فعالیت های کاربر در اختیار بگیرند .

 5. رویه شناسایی اشیا با استفاده از MLN

در روش شناسایی اشیا با استفاده ازMLN ، محیط خانه هوشمند را به شبکه های توری و مجزایی تقسیم بندی می کنیم .حال مشاهدات هر شبکه را به یکی از افراد خانه تخصیص می دهیم .زیرا گفته شد، هر فردی رفتار ثابت و از پیش تعیین شده ای دارد . مثلا انتخاب یک مبل خاص در اتاق نشیمن.

حال برای تشخیص افراد خانه از الگوهای ظاهری فرد مانند قد و وزن و غیره برای تشخیص هر فرد استفاده می کنیم و در صورتی که فردی وارد شبکه ای شود، تشخیص می دهیم که شبکه مورد نظر مختص به این فرد است یا خیر . سپس کاربر را به شبکه ی مربوط به خود تخصیص داده و با توجه به الگو های تعیین شده، رفتار کاربر را تحلیل و پیش بینی می کنیم .همچنین هر فعالیتی از کاربر به عنوان یک مشاهده برای یکی از شبکه ها) تورها( در نظر گرفته می شود. برای مثال اگر شبکه ای برای یک مدت زمانی به عنوان مثال 2 دقیقه فعالیت نگاه کردن را تشخیص دهد رفتار کاربر را، به عنوان حالت تماشاکردن تلویزیون در نظر می گیرد. علاوه بر آن، در پی این مشاهدات تشخیص می دهد کاربر بر روی مبلی نشسته است و در نزدیکی او تلویزیونی نیز قرار دارد .در صورتی که کاربر در شبکه مورد نظر خود قرار نگیرد، شبکه های دیگر تشخیص می دهند که این فرد مربوط به کدام شبکه است و با دریافت اطلاعات از شبکه های همسایه خود، رفتار فرد را تحلیل و شناسایی می کند .شبکه بندی پیشنهادی در شکل 3 نشان داده شده است .

شکل3 شبکه بندی اﺗﺎق ﻧﺸﯿﻤﻦ

این شبکه بندی برای اتاق نشیمن یک خانه هوشمندی که دارای چهار نفر عضو می باشد طراحی شده است. همچنین می توان این شبکه بندی را در صورت نیاز در سایر محیط خانه های هوشمند نیز بکار برد .

MLN مجموعه ای از فرمول های تعریف شده در یک پایگاه دانش و وزن های متناظر با هر فرمول می باشد . با این حال در MLN مهمترین عامل وزن آن ها است. استنباط و استنتاج مبتنی برMLN ، حالات ممکن در یک مدل را پیدا می کند .به عنوان مثال هنگامی که فعالیت راه رفتن بر روی شبکه مشاهده شود، شبکه احتمال حضور یک فرد و قدم زدن را افزایش می دهد و احتمالات دیگری مثل اشیا کاهش پیدا می کند. هنگامی که حالت نشستن مشاهده شد، احتمال وجود یک صندلی یا مبل افزایش می یابد .و یا هنگامی که حالت دراز کشیدن در اتاق نشیمن مشاهده شود، شبکه به یک مبل گرایش پیدا می کند. حال اگر فعالیت تماشاکردن و هر نوع فعالیت ناشناخته دیگری بر روی شبکه صورت بگیرد، به احتمال زیاد فرد در مکانی از خانه حضور دارد که در آن نواحی تلویزیون قرار گرفته است .با این حال اگر نگاه کردن بر روی زمین، صندلی، و یا مبل توسط شبکه تشخیص داده شود شبکه احتمال، تماشا کردن تلویزیون توسط کاربر را کاهش می دهد .پایگاه دانش مربوطه، در جدول 1 نشان داده شده است .

جدول 1 : پایگاه دانش مربوط به MLN تعریف شده براي یک محیط اتاق نشیمن

در جدول1 ، خطوط 2 و 3 اشیا و فعالیت های مورد مطالعه را نشان می دهند.  در خطوط 5 تا 7 گزاره های محیط را اعلان می کنیم.  در خط 5توالی زمانی نشان داده می شود و منظور از “زمان (زمان1، زمان2)” این است که فعالیت در زمان 2 دقیقا پس از فعالیت در زمان 1 انجام می گیرد. خط 6 نشان دهنده این است که در زمان خاصی ، فرد عملی را در شبکه مورد نظر انجام می دهد . خط 7 یعنی فرد در زمان خاصی فعالیتی را انجام داده و اشیا در تعامل با آن فرد تشخیص داده می شود. در خط 9 تا 12 نیز فرمول های موجود در پایگاه دانش بیان شده اند، که نشان دهنده قوانین حالت دو به دو ناسازگاری برای انجام عمل و نوع شی است و همچنین بیان می کنند که در شبکه و در هر زمان، یک نوع فعالیت یا شی وجود خواهد داشت . در آغاز تمامی فرمول ها، یک وزن وجود دارد . اگر وزن ∞ باشد،  فرمول یک محدودیت سخت بوده و غیر قابل نقض است .در غیر این صورت محدودیت نرم و مجاز به نقض می باشد . در خطوط 13 تا 31 نیز سایر فعالیت ها نشان داده شده و اشیا در تعامل با آن فعالیت ها شناخته می شوند .

حال می توان با استفاده از تجزیه و تحلیل فعالیت ها و همچنین پایگاه دانش گفته شده در جدول1 ، فلوچارت شناسایی اشیا از طریق رابطه بین شی و فعالیت کاربر تشخیص داد.  شکل 4 فلوچارت مربوط به این پردازش را نشان می دهد.

شکل 4 : فلوچارت استنتاج شی در شبکه هاي موجود

حال می توانیم پایگاه دانش جدول 1 و فلوچارت شکل 4 را به هر یک از افراد محیط خانه هوشمند در شبکه های موجود در شکل 3 اختصاص بدهیم .با استفاده از دنباله ها و احتمالات، فعالیت کاربر را تشخیص بدهیم .همچنین می توان با ثبت کردن کارها و رفتار های پرتکرار افراد در پایگاه دانش، رفتار آینده آنها را پیش بینی کرده و یا تخمین بزنیم .بدین ترتیب هریک از این جداول با توجه به رفتارهای افراد در شبکه های مختص به خود به روز رسانی خواهند شد، تا قابلیت تشخیص رفتارهای جدید افراد را داشته باشند. بنابراین می توان با تشخیص افراد مربوط به هر شبکه و بررسی رفتارهای هر فرد در پایگاه دانش، اشیایی که افراد با آن در تعامل هستند را تشخیص داد.
6. نتیجه گیری و کارهای آینده

در این مقاله برای تشخیص شی از فعالیت های کاربر در یک خانه هوشمند با استفاده از شبکه ی دوربین ها استفاده شده است و به جای تشخیص اشیا ازطریق شکل ظاهری آنها در دوربین ها، اشیا بر اساس تعاملات و رفتارهای کاربر مورد بررسی قرار گرفته شده است. همچنین پیشنهاد شد با شناسایی و بررسی علایق و رفتار های پرتکرار افراد و همچنین شناسایی مکان های مورد علاقه افراد در خانه هوشمند، با ثبت کردن و ایجاد الگو برای هر یک از اعضای خانه، می توان یک شبکه ای از دوربین ها را برای هر فرد اختصاص بدهیم تا به طور جداگانه رفتارهای افراد شناسایی شوند .نیمی از راه تشخیص اشیا، شناسایی رفتار انسان است. برای این کار از مدل سازی پایگاه دانش از طریق فعالیت های کاربر و اشیا کمک گرفته شد .همچنین از  MLNنیز برای برقراری ارتباط بینایی و استدلال و استنتاج سطح بالا استفاده شده است.

درست است که در شبکه بندی پیشنهادی این مقاله، تعداد دوربین ها افزایش پیدا می کنند، اما در عوض سرعت تشخیص اشیا بیشتر شده و نیز شبکه های دوربین همیشه فعال و مشغول نیستند .بنابراین تاکید می شود که این روش پیشنهادی برای یک محیط خانه هوشمند با اعضای محدود و کم راندمان خواهد داشت و نیز بهینه خواهد بود.

پیشنهاد ما برای کارهای آینده این است که با توجه به رفتارها و تعاملات ثابت افراد خانه های هوشمند با اشیا و در طول شبانه روز و همچنین در ساعات خاص، می توانیم از طریق این تعاملات، شی مورد نظر با در نظر گرفتن زمان و ساعت تخمین بزنیم.  به عنوان مثال اگر فرد در محدوده ساعتی 2تا 3 بعد از ظهر و به صورت پرتکرار تشخیص داده شود که مشغول تماشای تلویزیون می باشد، آنگاه در روزهای آینده و با ورود فرد به شبکه مربوط به خود، و همچنین با بررسی زمان ورود فرد تشخیص داده شود که احتمالا فرد دوباره به سراغ تلویزیون خواهد رفت و مشغول تماشا خواهد شد و اشیا در تعامل با فرد، تلویزیون و مبل خواهد بود .