從本質來說，科技一般被視為是中性的，道德和正派與否就只能看使用者而定。所以，無論這種「照護科技」變得有多「好」，該如何防止它被實際控制的人濫用及誤用？這是一個正當性問題，因為已經有許多老人在人類看護的手中飽受苦難，那些看護人員基於種種理由而疏忽，或是對負責照顧的人施虐。根據美國國家受虐老人中心（National Center on Elder Abuse）的統計，二○一○年有將近十分之一的老人遭到人類看護虐待，9其中有很多因為受害者不希望施虐者惹上麻煩而並未通報，通常因為施虐者是家人，而虐待的原因包括怨恨、報復、心理疾病、反社會及藥物濫用。
有鑑於此，這種虐待行為有一部分似乎可能還會繼續，並且藉由這些新型態的照護科技施行，無論是造成身體傷害或心理痛苦。心懷惡意的看護人員或許會利用機器原有的特性，例如：毫不倦怠地重複及程式化，用裝置來折磨受照顧者。此外，還有許多研究顯示，中介科技可能會讓各種可惡的行為成真。這種遠距活動顯然會讓我們在心理上抽離這些行為（不過有時候只是暫時的），即使該方式已經讓我們在生理上遠離這些行為。
但是這不能避免嗎？有別於人類一對一的直接互動，使用包括情緒介面等中介科技的虐待，可加以監控並通報，或許能設計成為器材整體程式的一部分。雖然最初可能會因為隱私疑慮而遭到抗拒，但是也可以只在裝置器材於一定距離範圍之外使用，或是在超出特定用途後，才會有這種遠端監控與通報。
諸如此類的防護，或許會隨著情感介面趨於複雜精密而日益重要。儘管和身體虐待一樣糟糕，但是偵測身體虐待往往比情緒虐待來得容易。持續不斷的恐懼、焦慮，或其他形式的痛苦，可能會導致創傷後壓力症候群和精神崩潰，嚴重影響個人生活品質。因此，在情感運算逐漸普遍而容易取得之際，如果沒有預先料想到這方面的濫用就太失職了。
孤單老人的情緒虐待與操控
或許比情緒虐待更大的隱患是情緒操控。孤單老人遇到心懷不軌、覬覦他們積蓄的追求者和紅顏知己，這類故事俯拾即是，真實與虛構皆有。被寫進遺囑裡或「被贈與」價值貴重的項目，聽起來像是哥德式小說或八卦小報的情節，但是放心好了，這些事天天都在發生。
根據二○一一年大都會人壽（MetLife）的報告，美國老年人在二○一○年因金融詐騙而損失的金額為二十九億美元，比二○○八年增加一二％。依據一項在二○一五年由True Link Financial與一位前佛瑞斯特研究公司（Forrester Research）分析師合作的研究，訂出的數字顯然更高，金融詐騙一年讓老年人損失三百六十億美元，而且過去五年有三七％的老年人是受害人。儘管第二份研究似乎在本質上存在著利益衝突（因為True Link Financial銷售防範這類詐騙的產品），但是仍顯示出我們或許太低估問題的規模。
