এটি একটি সম্ভাব্য পার্শ্ব প্রতিক্রিয়া
যে কোনও লক্ষ্য-ভিত্তিক এজেন্ট এই লক্ষ্যগুলির পক্ষে গুরুত্বপূর্ণ নয় এমন পার্শ্ব প্রতিক্রিয়া উপেক্ষা করার সাথে সাথে এমন কিছু করতে পারে যা তার লক্ষ্য অর্জন করে।
যদি আমার লক্ষ্যগুলিতে একটি পরিপাটি থাকার জায়গা অন্তর্ভুক্ত থাকে তবে আমি আগে আমার ইয়ার্ডটিকে একটি সুন্দর, সমতল লন বা ফুটপাতে রূপান্তর করতে পারি, যা আগে সেখানে ছিল এমন জটিল পরিবেশ বাস্তুতন্ত্রকে মুছে ফেলার জন্য, কারণ আমি সে সম্পর্কে বিশদ যত্ন নিই না।
যদি কোনও বিশেষ শক্তিশালী এআই এর লক্ষ্যগুলি বৃহত আকারে কিছু করার অন্তর্ভুক্ত হয় এবং কোনওরকমভাবে বর্তমান জটিল বাস্তুসংস্থান সম্পর্কে বিশেষভাবে চিন্তা না করে, তবে সেই বাস্তুতন্ত্রটি প্রক্রিয়াটিতে নিশ্চিহ্ন হয়ে যেতে পারে। এটা না প্রয়োজন চান আমাদের অপনোদন করতে হবে অথবা। যদি আমরা কেবল তার লক্ষ্যগুলির সাথে প্রাসঙ্গিক না হয়ে থাকি তবে আমরা উপকরণ দিয়ে তৈরি হয়ে থাকি এবং স্থানটি দখল করি যা এটি অন্য কোনও কিছুর জন্য ব্যবহার করতে পারে।
আমরা বেশিরভাগ লক্ষ্যের জন্য হুমকি
যে কোনও লক্ষ্য-ভিত্তিক এজেন্ট তাদের লক্ষ্য পূরণ করতে পারে তা নিশ্চিত করতে চাইতে পারে । যে কোনও স্মার্ট এজেন্ট অন্যান্য এজেন্টদের ক্রিয়াকলাপ অনুমান করার চেষ্টা করবে যা তাদের লক্ষ্য অর্জনে বাধা দিতে পারে এবং তারা যেভাবেই সফল হয় তা নিশ্চিত করার জন্য পদক্ষেপ গ্রহণ করবে। অনেক ক্ষেত্রে তাদের প্রচেষ্টা ব্যর্থ হয়েছে তা নিশ্চিত করার পরিবর্তে those অন্যান্য এজেন্টদের নির্মূল করা সহজ।
উদাহরণস্বরূপ, আমার লক্ষ্যগুলির মধ্যে একটি দেশের ঘরে একটি চিনি ব্যাগ সংরক্ষণ করা অন্তর্ভুক্ত থাকতে পারে যাতে প্রতিবার সমস্ত উপাদান না নিয়েই পরিদর্শন করার সময় আমি প্যানকেকগুলি তৈরি করতে পারি। তবে, আমি যদি ওখানে রেখে যাই তবে শীতকালে ইঁদুর দ্বারা এটি খাওয়ার সম্ভাবনা রয়েছে। আমি এটা ভাল সঞ্চয় করতে সাবধানতা অবলম্বন সব ধরণের লাগতে পারে, কিন্তু ইঁদুর স্মার্ট এবং ধূর্ত হয়, এবং সেখানে স্পষ্টতই nontrivial সুযোগ যে তারা এখনও অর্জনের সফল হবে তাদের , যাহাই হউক না কেন লক্ষ্য তাই একটি কার্যকর অতিরিক্ত সাবধানতা অবলম্বনের ইঁদুর হত্যা করা হয় আগে তারা একটি সুযোগ পেতে চেষ্টা.
যদি কোনও নির্দিষ্ট শক্তিশালী এআই এর লক্ষ্যগুলি এক্স করতে হয়; এটি বুঝতে পারে যে (কিছু?) মানুষ আসলে পরিবর্তে এক্স না চাইলেও ওয়াই চাইবে। এটি সহজেই অনুমান করতে পারে যে সেই সমস্ত মানুষ সক্রিয়ভাবে এমন কিছু করতে পারে যা এক্স বাধা দেয় এবং / অথবা এআই বন্ধ করার চেষ্টা করে। লক্ষ্য অর্জনের বিষয়টি নিশ্চিত করে এমন কাজ করা কোনও লক্ষ্য-সন্ধানকারী এজেন্ট যা কিছু করে; এক্ষেত্রে যদি এক্স অ্যাক্সেসের জন্য মানুষের অস্তিত্ব কঠোরভাবে প্রয়োজনীয় না হয়, তবে সেগুলি নির্মূল করা শক্ত ঝুঁকি হ্রাস কৌশল হিসাবে পরিণত হয়। এটি সঠিক ভাবে প্রয়োজন নেই এবং ভাল হিসাবে এটি অন্যান্য সতর্কতা সব ধরণের লাগতে পারে, কিন্তু শুধু ইঁদুর আমার উদাহরণে মত, মানুষের স্মার্ট এবং ধূর্ত হয় এবং সেখানে স্পষ্টতই nontrivial সুযোগ যে তারা এখনও অর্জনের সফল হবে তাদের লক্ষ্যগুলি (যাতে এআই এর ইচ্ছার সাথে X না ঘটে) যাতে কার্যকর সুযোগ পাওয়ার আগে তারা তাদের সুযোগ পাওয়ার আগে তাদের হত্যা করতে পারে।