如果使用非法手段限制比如人身自由之类，强行带回是犯法的，被人限制人身自由，侵犯人身自由，禁锢人身自由是犯法的。
《中华人民共和国刑法》
第二百三十八条【非法拘禁罪】非法拘禁他人或者以其他方法非法剥夺他人人身自由的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。具有殴打、侮辱情节的，从重处罚。
犯前款罪，致人重伤的，处三年以上十年以下有期徒刑;致人死亡的，处十年以上有期徒刑。使用暴力致人伤残、死亡的，依照本法第二百三十四条、第二百三十二条的规定定罪处罚。
为索取债务非法扣押、拘禁他人的，依照前两款的规定处罚。
国家机关工作人员利用职权犯前三款罪的，依照前三款的规定从重处罚。
延伸阅读：
发现自己的老婆和别人同居犯法吗?
和别人老婆睡觉犯法吗
没结婚证老婆重婚犯法吗？
