男方不抚养子女是可以到相关组织部门申请调解，无法调解的情况下是可以到法院提起民事诉讼的。协议离婚更改抚养权到法院进行更改，并且需要要向法院提交相关证据证明。
一、父母不抚养孩子怎么办
父母不抚养孩子可以据此向相关组织申请调解或直接向人民法院提起民事诉讼，请求父母给付相应的抚养费。如果在诉讼期间的，可以由人民法院先行裁定暂由一方抚养。
《中华人民共和国民法典》第一千零六十七条父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女，有要求父母给付抚养费的权利。 成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。
二、协议离婚更改抚养权到哪个部门更改
协议离婚更改抚养权可以到法院进行变更。
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五十六条具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：
（一）与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；
（二）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；
（三）已满八周岁的子女，愿随另一方生活，该方又有抚养能力；
（四）有其他正当理由需要变更。
三、变更抚养权诉讼时效怎么算
变更抚养权没有诉讼时效限制的。根据国家法律法规和司法解释的规定，抚养权变更是没有诉讼时效的，一方要求变更子女抚养关系有符合法律规定情形的，如与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的，应予支持。
法律依据：《中华人民共和国民法典》第一百九十六条下列请求权不适用诉讼时效的规定：
（一）请求停止侵害、排除妨碍、消除危险；
（二）不动产物权和登记的动产物权的权利人请求返还财产；
（三）请求支付抚养费、赡养费或者扶养费；
（四）依法不适用诉讼时效的其他请求权。