如果不能协商处理的话，可以按照以下程序起诉：
1、准备好民事诉讼状。
2、到具有管辖权的人民法院起诉，并提交相关的证据材料。
3、按照人民法院的通知准时出席参与诉讼活动。
4、若不服一审判决或裁定，应在接到判决书后15天内或接到裁定书后10天内向原审人民法院或上一级人民法院提出上诉，并递交上诉状。
二、居住权的最新法条有哪些?
《中华人民共和国民法典》(2021年1月1日实施)
第三百六十六条居住人有权依照合同约定，对他人的住宅享有占有、使用的用益物权，以满足生活居住的需要。
第三百六十七条，设立居住权，当事人应当采用书面形式订立居住权合同。
第三百六十八条，居住权无偿设立，但是当事人另有约定的除外。设立居住权的，应当向登记机构申请居住权登记。居住权自登记时设立。
第三百六十九条，居住权不得转让、继承。设立居住权的住宅不得出租，但是当事人另有约定的除外。
第三百七十条，居住权期限届满或者居住权人死亡的，居住权消灭。居住权消灭的，应当及时办理注销登记。
第三百七十一条，以遗嘱方式设立居住权的，参照适用本章的有关规定。
三、居住权纠纷的诉讼状应该怎么写?
民事起诉状
原告：名称：______地址：_____________ 电话：___
法定代表人：姓名：________________ 职务：___
委托代理人：姓名：________性别：_____ 年龄：___
民族：___ 职务：___工作单位：________
住址：_________________电话：___
被告：名称：______地址：_____________ 电话：___
法定代表人：姓名：________________ 职务：___
委托代理人：姓名：________性别：_____ 年龄：___
民族：___ 职务：___工作单位：________
住址：_________________电话：___
诉讼请求_________________________________________________________________________________
_____________________________________________________________________________________________
事实与理由_______________________________________________________________________________
_____________________________________________________________________________________________
证据和证据来源、证人姓名和住址
此致
_______人民法院
具状人 (姓名)
年 月 日
附：合同副本____份。
本诉状副本___份。
其它证明文件__份。
总之，也不能绝对的说居住权人没有权利驱赶产权人，比如产权人把房子租给了当事人的情况下，产权人自己不搬走，居住权人在没办法实现居住权的情况下，依法驱赶产权人的行为是受法律保护的。居住权到期，居住人不搬走的做法是违法的
延伸阅读：
小产权房如何贷款
购买农村小产权房能办房产证吗?
小产权房屋买卖合同效力如何认定
