Как избавить опекуна права быть опекуном?

Как можно избавить опекуна за пожилым человеком права быть опекуном? Моя мама ухаживает за своим отцом, которому 83 года, а опекунство оформила на моего брата. Он за ним не ухаживает, иногда и не живет с ними. Теперь он требует пенсионные карты деда, на основании того что он опекун. Как лишить его права быть опекуном, если он этого не хочет?