责令限期拆除违法建筑不是行政处罚是否正确

正确。
责令限期拆除违法建筑物不是行政处罚，而是属于行政强制措施。
行政处罚是指行政主体依照法定职权和程序对违反行规范、尚未构成犯罪的相对人给予行政制裁的具体行政行为。
行政处罚的种类：
1、警告
2、罚款
3、没收违法所得、没收非法财物
4、责令停产停业
5、暂扣或者吊销许可证、暂扣或者吊销执照
6、行政拘留
7、法律、行规规定的其他行政处罚
行政强制措施是行政机关依其职权采取强制手段特定的相对人行使某项权利或强制履行某项义务的处置行为。
行政强制措施的种类：
(一)公民人身自由;
(二)查封场所、设施或者财物;
(三)扣押财物;
(四)冻结存款、汇款;
(五)其他行政强制措施。
违法建筑拆除的程序：一般是由行政机关经调查取证，确认建筑物违章后，对违章搭建人作出责令停止违法行为通知书，责令其停止违法建设行为。搭建人拒不拆除违章建筑的，行政机关在作出行政处罚决定前，依法向其发出行政处罚告知书，告知拟处罚结果和被处罚人陈述、申辩等权利。法律设定告知程序的主要目的是为了实现处罚公开，保护当事人陈述权、申辩权的充分行使。当事人逾期拒不拆除的，除法律另有规定外，由行政机关依法申请人民强制执行。
法律依据：
《中华人民共和国行政强制法》第四十四条：对违法的建筑物、构筑物、设施等需要强制拆除的，应当由行政机关予以公告，限期当事人自行拆除。当事人在法定期限内不申请行政复议或者提起行政诉讼，又不拆除的，行政机关可以依法强制拆除。