Alžběta nejdříve prosila Josefa aby s touto situací něco udělal, ale Josef matku do patřičných mezí nevykázal. Alžběta posléze unikala do svého nitra skrze skutečné nebo i simulované nemoci a od poloviny šedesátých let přešla k tvrdému prosazování své vůle i na úkor svých dětí. V roce 1865 skončil tento boj neformálně vítězstvím Alžběty a všeobecným ústupem Františka Josefa před svojí ženou.
Do té doby přivedla Alžběta na svět tři děti v pořadí Žofie, narozena v roce 1855, Gisela, narozena 1856 a Rudolf, narozen 1858. Žofie v dětském věku zemřela. Dne 27. srpna 1865 předala Alžběta císaři protest proti drsné vojenské výchově malého Rudolfa. Nekompromisní požadavky František přijal.
Do politiky zasáhla Alžběta výrazně jen jednou a stálo jí to skutečně za to. Nikdy se netajila obdivem uherské šlechtě. Byla stejně nezkrotná jako ona. V roce 1867 významně přispěla k přesvědčení císaře, aby rozdělil říši. Odměnila se mu za to čtvrtým dítětem, které porodila v dubnu 1868 na Budínském hradě. "Uherské dítě" Marie Valerie, vychovávané v uherském jazyce, se stalo nejoblíbenějším potomkem podstatě rozvedených rodičů.