Tenho ciúmes do meu marido por causa do meu filho.?

Eu e o meu marido somos um “casal invertido”: eu trabalho fora de casa muitas horas, ele é estudante e tem a tarde livre, fica em casa. Desde muito cedo,foi um pai muito afectuoso e muito preocupado com o filho. Vem de uma outra cultura onde os homens têm muito poder e acho que reage ao facto de eu ser “o homem lá de casa”, adoptando posturas maternais. O meu menino tem três anos e é um doce.
O problema surge porque em diversas ocasiões já reparei que o meu marido parece querer afastar-me do meu filho. Está sempre a vangloriar-se de o filho gostar muito dele e de ficar muito triste quando o pai se zanga com ele- comparando com a mãe. Diz o meu marido que quando me zango com o meu filho, ele fica triste, mas percebe que está a ter uma lição. Quando é com ele, o menino fica muito triste,como se o mundo estivesse a acabar o que é em parte verdade pois parece que fica magoado enquanto no meu caso chora, mas depois fica muito sério a ouvir as minhas advertências..
O problema é que já detectei que o meu marido está sempre a mimar o filho, aproveitando-se da minha falta de disponibilidade. Até acho benéfico, saudável (e moderno) que o meu filho tenha um pai tão próximo, o problema é que às vezes é muito negativo pois chega a tirar-me a criança do colo quando estou a dar-lhe carinho, como hoje aconteceu duas vezes e já não é a primeira vez .Em várias ocasiões, quando o menino se magoa, faz questão de ser ele a acalmá-lo, chegando mesmo a tirá-lo do meu colo. Não acho isso correcto, pois nunca o fiz nem farei.
Acho que o meu marido também tem ciúmes de mim, por ter um execlente trabalho e procura ultrapassar as frustrações dele tentando “roubar-me” o meu filho. A minha questão é o que fazer para que ele pare de fazer este género de coisas que magoam e que, acima de tudo, não são benéficas para o meu menino? Afinal ele também tem uma mãe, mais distante, é certo, porém que brinca com ele todos dias, mesmo que apenas 10 minutos e mesmo estando muito cansada, que o amamentou exclusivamente de leite materno até poder, tentando conciliar as mamadas com o horário de trabalho, uma mãe que procura dar-lhe conforto, mimo, educação, atenção, mesmo não sendo perfeita.
Já há dois anos algo do género aconteceu e foi ainda pior porque era a família dele (agora geograficamente distante) que “arrancava” o menino do colo da minha mãe e do meu pai como se fossem donos dele. Eu falei e as coisas resolveram-se temporariamente (não necessariamente de forma pacífica.
Para além de falar, que mais deveria fazer? Parece que só as palavras directas não servem e responder da mesma moeda não está correcto . Custa-me que isto aconteça com uma pessoa meiga e culta como o meu marido.