В 1503 г. король Александр подарил Шарковщину дисненскому старосте и смоленскому каштеляну Юрию Деспот-Зеновичу. С этого времени имение стало передаваться по наследству.

Миколай Зенович передал его своему сыну Георгию. А еще позже имение переходит к внуку Миколая — тоже Миколаю.

Дочь последнего Регина Полубинская (после второго брака Хамцова) в 1604 г. со своим мужем продала имение канцлеру Льву Сапеге, который присоединил Шарковщину к своим имениям Друя и Иказнь.