虐待罪侵犯的客体是由人身权利和平等权利组成的复杂客体。
首先，虐待罪的首要客体为人身权利。我国《刑法》分则按犯罪的客体类型将所有罪名划分为十章，虐待罪被置于《刑法》侵犯公民人身权利、民主权利一章中。很显然，我们由此可以得出的结论是虐待罪客体必定涉及人身权利。人身权利指的是与人自身直接相关的权利，如生命权、健康权等都属于人身权利。在所有的虐待案件中，所有的行为人都是通过对被害人的生命权、健康权(包括精神健康)进行侵害从而达到虐待的不法目的。如常见的被害人被行为人虐待重伤或者死亡，这是典型的侵害人身权利的行为。因此，从虐待罪的行为实施模式上看，也不难得出其客体应该为公民的人身权利。《刑法》设置虐待罪，就是通过刑罚来预防和惩罚虐待行为，以保护公民的生命权和健康权不受侵害。因此，人身权利应当是虐待罪的首要客体。
其次，家庭个体成员所享有的平等权利应为虐待罪的次要客体。虐待罪是一个与家庭关系联系紧密的犯罪。而家庭是一个相对封闭、自治、私密的环境，受外界影响较少。家庭关系主要依靠传统道德来进行维系，在这样的环境中，家庭成员之间形成的家庭关系地位，主要取决于成员自身的身体条件、经济条件等。因此，身体、经济等方面条件较好的青年人一般有着较高的家庭地位，而老人、妇女、儿童往往处于劣势地位。虽然法律对公民输出的是人人平等的价值观，但在一个相对封闭、自治的家庭环境中，依靠道德规范之力量难以完全有效调整家庭成员之间的关系，处于劣势的家庭成员难免成为受侵害对象，从而打破这种家庭成员权利平等的格局，随之出现的是儿女对父母不管不顾，有病不给医治，父母对孩子随意打骂等各种侵犯家庭成员平等权利的行为。因此，当道德规范难以调整家庭平等关系的时候，需要法律介入进行规范，虐待罪的设置，就是为家庭成员间行为设置了一道底线，一切僭越这条底线的行为将会受到刑罚的制裁。
根据规定，虐待罪属于告诉才处理的自诉案件，一般采取不告不理的原则;被虐待人可以直接向人民法院提起诉讼。但是，对于虐待家庭成员，致使被害人重伤、死亡的，则属于公诉案件，公安机关应当立案侦查。
