На початку XV ст. стає власністю литовських князів, а після Люблінської унії 1569 р. потрапляє, як і вся Волинь під владу Польщі. В той час в місті зводиться костел і монастир домініканців. З 1795 р. Камень-Каширський входить до складу Росії.

Тут збереглись цікаві пам’ятки архітектури – Ільїнська церква (1700) та стародавня церква Різдва (1723).