Если капнуть историю, то слово "баба" означает - замужняя женщина, родившая ребёнка. За всю свою сознательную жизнь никого этим словом не назвал, т.к. уважаю женщин.
И вы правы, когда говорите, что никто с мужчин, которые любят и уважают своих жен, девушек никогда не скажут на них "баба". Т.к. этим словом мужчина как-бы "унижает" женщину.