向こうが不倫、復縁はもう無理でしょうか？

向こうが不倫、復縁はもう無理でしょうか？

私は45歳、相手は50歳で今年で結婚して20年になります。
相談は相手が1年前から不倫をしています。不倫をしたことがわかってから、私は精神的にも参ってしまい、精神科の病院に診てもらった所、軽いうつ病と診断されました。
不倫が発覚した時は、私も相手に、「不倫は辞めて欲しい」と告げましたが、相手から返ってきた答えは、「離婚してくれ、離婚して欲しい」の一点張りでした。私は今後の生活を考えると離婚はしたくなかったので、相手の要望には応えませんでした。正直に言うと、私はまだ愛しています。
相手は毎日のように離婚の話をしてきます。「この人相当、私と離婚したいんだな」と感じました。そこまでして不倫相手と一緒になりたいのかとショックが隠せません。
最近私は、「どんなことがあっても離婚はしない」と相手にハッキリ伝えました。
すると相手は、「分かった」と言い、離婚のことは一切口にしなくなりました。それからというもの、こっちが話し掛けても全く答えなくなり、会話が無くなってしまいました。
今でも不倫相手とは続いているようです。このままですと精神的にもっと辛く、病状も悪化してしまいそうで、自分が怖いです。自分でもどうすればいいのか分からないです。絶対に離婚はしたくないです。何かアドバイスお願いします。