تشخیص آزار و تهدید آنلاین با هوش مصنوعی میتواند برای بررسی اولیه پیامها، کامنتها و گفتوگوهای مشکوک مفید باشد؛ بهویژه زمانی که حجم پیامها زیاد است یا تشخیص الگوهای تکراری دشوار میشود. ابزارهای هوش مصنوعی میتوانند عباراتی مانند تهدید به آسیب، اخاذی، تحقیر مداوم، توهین هدفمند و تلاش برای ترساندن فرد را علامتگذاری کنند.
با این حال، هیچ سامانهای از روی چند کلمه نمیتواند با اطمینان بگوید یک پیام جرم، شوخی یا تهدید واقعی است. کنایه، غلط املایی، زبان محاورهای فارسی و شناخت نداشتن ابزار از رابطه میان افراد باعث خطا میشود؛ بنابراین خروجی هوش مصنوعی باید هشدار برای بررسی انسانی باشد، نه جایگزین قضاوت، گزارش رسمی یا کمک فوری.
هوش مصنوعی در تشخیص آزار و تهدید آنلاین چه چیزی را بررسی میکند؟
مدلهای زبانی و سامانههای تحلیل محتوا معمولاً فقط دنبال یک واژه خاص نمیگردند. آنها ترکیبی از واژهها، لحن، تکرار، شدت پیام، مخاطب و روند گفتوگو را بررسی میکنند تا احتمال رفتار آسیبزا را تخمین بزنند.
نشانههایی که ممکن است برای سامانه قابل توجه باشند، شامل این موارد است:
- تهدید مستقیم به آسیب جسمی، تخریب اموال یا افشای اطلاعات؛
- تکرار توهین، تحقیر یا پیامهای آزاردهنده پس از درخواست توقف؛
- اخاذی با عکس، فیلم، اطلاعات خصوصی یا ادعای در اختیار داشتن آنها؛
- تلاش برای ترساندن، کنترلکردن یا منزویکردن فرد؛
- پیامهایی که زمان، مکان، وسیله یا هدف مشخصی برای آسیبزدن مطرح میکنند.
مهم است بدانیم تشخیص «احتمال خطر» با اثبات تهدید تفاوت دارد. پیام «میدانم کجا رفتوآمد میکنی» ممکن است بدون زمینه مبهم باشد، اما اگر همراه با تعقیب، انتشار نشانی یا تهدیدهای قبلی باشد، اهمیت آن بیشتر میشود.
تشخیص آزار و تهدید آنلاین با هوش مصنوعی چرا همیشه دقیق نیست؟
هوش مصنوعی معمولاً از روی الگوهای زبانی نتیجهگیری میکند، نه از روی شناخت کامل موقعیت. در فارسی، استفاده از فینگلیش، شکلهای مختلف نوشتن یک واژه، ایموجی، اصطلاحات خانوادگی و کنایه میتواند باعث شود یک پیام خطرناک نادیده گرفته شود یا یک گفتوگوی بیخطر بهاشتباه علامتگذاری شود.
سه خطای رایج را باید جدی گرفت:
- مثبت کاذب: یک شوخی، نقلقول یا گفتوگوی داستانی تهدیدآمیز تشخیص داده میشود.
- منفی کاذب: تهدیدی که با زبان غیرمستقیم، تصویر، ایموجی یا عبارت رمزگونه بیان شده، شناسایی نمیشود.
- نادیدهگرفتن زمینه: ابزار نمیداند فرستنده قبلاً مزاحمت ایجاد کرده یا فرد مقابل از او میترسد.
به همین دلیل، نتیجه ابزار را با واکنش فرد دریافتکننده، سابقه پیامها و رفتار فرستنده کنار هم بگذارید. اگر احساس خطر وجود دارد، پایینبودن امتیاز خطر در یک ابزار نباید باعث نادیدهگرفتن آن شود.
چطور از هوش مصنوعی برای بررسی یک پیام مشکوک استفاده کنیم؟
بهتر است هوش مصنوعی را برای مرتبکردن نشانهها و پیشنهاد پرسشهای بررسی به کار ببرید، نه برای صدور رأی. این فرایند میتواند چنین باشد:
- پیش از هر کاری، از پیام، نام کاربری، تاریخ، ساعت و صفحه مربوط اسکرینشات بگیرید.
- اطلاعات شناساییکننده مانند نام، شماره، نشانی، مدرسه، محل کار و عکس خصوصی را حذف یا جایگزین کنید.
- از ابزار بخواهید متن را از نظر تهدید مستقیم، اخاذی، آزار تکرارشونده و نشانههای فوریت بررسی کند و برای هر برداشت، بخش مرتبط پیام را توضیح دهد.
- نتیجه را با چند پیام قبل و بعد، سابقه تماس و واکنش فرستنده به درخواست توقف مقایسه کنید.
- در صورت خطر، بهجای ادامه تحلیل، سراغ حفظ شواهد، گزارش حساب و کمک انسانی بروید.
پرسش دقیق بهتر از درخواست کلی مانند «آیا این آدم خطرناک است؟» عمل میکند. برای نمونه میتوان پرسید: «کدام عبارتها تهدید مستقیم یا تلاش برای اخاذی هستند؟ چه اطلاعاتی برای ارزیابی خطر کم است؟» این نوع سؤال، ابزار را از قضاوت درباره شخصیت فرد دور میکند.
حریم خصوصی هنگام استفاده از ابزارهای هوش مصنوعی
بارگذاری متن کامل گفتوگو در هر سامانهای تصمیم بیخطری نیست. ممکن است داده برای مدتی ذخیره شود، برای بهبود سرویس استفاده شود یا در شرایطی در اختیار افراد دیگری قرار بگیرد؛ بنابراین قبل از ارسال، سیاست حریم خصوصی و تنظیمات نگهداری داده را بررسی کنید.
برای کاهش خطر، فقط بخش لازم پیام را منتقل کنید و اطلاعات زیر را حذف کنید:
- شماره تلفن، شناسه ملی، نشانی و اطلاعات بانکی؛
- نام مدرسه، محل کار، برنامه رفتوآمد و مشخصات اعضای خانواده؛
- عکسها و ویدئوهای خصوصی، بهخصوص محتوای مربوط به کودکان؛
- رمز عبور، کدهای ورود و اطلاعات بازیابی حساب.
اگر تهدید به انتشار تصویر خصوصی یا افشای اطلاعات مطرح است، خود تصویر را برای تحلیل در ابزار عمومی آپلود نکنید. اصل فایل و شواهد را در محل امن نگه دارید و برای گزارش و پیگیری، از مسیرهای رسمی کمک بگیرید.
بعد از شناسایی آزار یا تهدید چه اقدامی منطقی است؟
در آزارهای تکرارشونده، وارد بحث طولانی با فرستنده نشوید؛ پاسخهای بیشتر گاهی اطلاعات یا فرصت ادامه مزاحمت در اختیار او میگذارد. پس از ثبت شواهد، حساب را در همان پلتفرم گزارش و مسدود کنید و تنظیمات حریم خصوصی، نمایش شماره و دسترسی به پیامها را بازبینی کنید.
اگر تهدید مشخص، اخاذی، تعقیب، انتشار اطلاعات شخصی یا احتمال آسیب فوری وجود دارد، موضوع را فقط به تحلیل هوش مصنوعی نسپارید. یک فرد قابل اعتماد را در جریان بگذارید، شواهد را حذف نکنید و از پلیس یا نهادهای مسئول کمک بگیرید. برای کودک یا نوجوان، گفتوگو باید بدون سرزنش باشد؛ ترس از تنبیه ممکن است باعث پنهانکردن پیامها و ادامه خطر شود.
جمعبندی: تشخیص آزار و تهدید آنلاین با هوش مصنوعی زمانی ارزشمند است که بهعنوان ابزار غربالگری و مرتبکردن نشانهها استفاده شود. تصمیم نهایی به زمینه گفتوگو، سابقه رفتار، حفظ شواهد و ارزیابی انسانی نیاز دارد؛ و در تهدید جدی، اقدام ایمنی و کمک رسمی از هر تحلیل خودکاری مهمتر است.
