Pensão alimentícia e Visitas?

Olá!
Tenho uma dúvida muito grande em relação a pensão alimenticia e as visitas do pai da minha filha, eu tenho uma filha de 4 meses e o pai é dependente quimico e por esse motivo interrompi o meu relacionamento com ele pois ele fazia uso de drogas na minha frente, e ultimamente ele tem me cobrado de pegar a nenem pra ficar o fim de semana com ele e ele alega que ele tem direito de levar ela porque ela não mama mais no peito e porque é pai, e ele não da pensão e eu disse que entraria com pedido de pensão e ele me disse que iria alegar que tem outro filho (que tem de tudo) e o valor da pensão seria menor do que o esperado, e eu não proibo ele de ver a nenem só gostaria que ele não levasse a minha filha para casa dele pelo fato de ser dependente quimico, isso seria possivel eu ter o direito de não entregar a minha filha nas mãos dele? Por favor me ajudem pois estou perdida.