Záleží na tom, co přesně máte sjednáno v pracovní smlouvě.
To by totiž zaměstnavatel mohl měnit pouze s Vaším souhlasem.

Nabízí-li Vám zaměstnavatel sjednaný druh práce v místě,
sjednaném v pracovní smlouvě jako místo výkonu práce,
pak opravdu nic neporušuje.

Vaše odmítnutí může být posuzováno jako neplnění pracovních
povinností a vést k ukončení zaměstnání bez nároku na odstupné
(v horším případě i bez nároku na podporu).