Отказаться нельзя за исключением случаев, когда командировка на срок более 30 дней (тогда только с Вашего согласия).

Статья 263 Трудового Кодекса РБ.
Запрещение и ограничение ночных, сверхурочных работ, работы в государственные праздники, праздничные, выходные дни и направления в служебную командировку женщин
Запрещается привлечение к сверхурочным работам, работе в государственные праздники и праздничные дни (часть первая статьи 147), выходные дни и направление в служебную командировку беременных женщин и женщин, имеющих детей в возрасте до трех лет.
Женщины, имеющие детей в возрасте от трех до четырнадцати лет (детей-инвалидов - до восемнадцати лет), могут привлекаться к ночным, сверхурочным работам, работе в государственные праздники, праздничные дни (часть первая статьи 147), выходные дни и направляться в служебную командировку только с их письменного согласия.

Статья 271 Трудового Кодекса РБ.
Гарантии отцам, другим родственникам, членам семьи ребенка, опекунам (попечителям)
Работающие отцы, воспитывающие детей без матери (в связи с ее смертью, лишением родительских прав, длительным - более месяца пребыванием в лечебном учреждении и другими причинами), а также опекуны (попечители) детей соответствующего возраста имеют право на гарантии, предоставляемые законодательством и коллективными договорами, соглашениями работающим женщинам-матерям.

Ну вообще я всегда при трудоустройстве указывал в резюме, что "без командировок" и отдельно это еще оговаривал с начальством при собеседовании. Считаю, что это правильный вариант, чтобы позже не возникало вот таких вот споров. У меня по большому счету нет ограничений, но жена очень сильно ревнует. Я не хочу проблем в семейной жизни, поэтому решили так, что не буду больше ездить. Хотя раньше приходилось когда-то.