תפילין בזמנים שונים

תפילין אסורים בשבת מסיבת זלזול אות השני. אבל לגבי ברית מילה לובשים את התפילין כמבואר במ"ב. למה זה לא נחשב זלזול אות?