V květnu 1099 přemyslovský kníže Břetislav II. táhl se svým vojskem na Moravu, vojensky ji obsadil a svěřil do správy svého bratra Bořivoje. Mimo jiné byl také obsazen hrad Podivín, který Břetislav II. nechal přestavět a předal jej pražskému biskupu Heřmanovi.