Першую згадку мясцовасці вакол Жалудка знаходзім у «Паведамленнях аб літоўскіх шляхах», тэксце, напісаным паміж 1385 і 1404 г. шпіёнамі крыжакоў. Нейкі Сцегявіла Шалутка меў двор каля сучаснага Жалудка.

Як і большасць маёнткаў, вакол якіх потым выраслі мястэчкі, Жалудок спачатку быў вялікакняскай маёмасцю, якая кіравалася намеснікамі ці цівунамі. Юры Стырнель, «чинивший суд и управу» ў Жалудоцкай воласці ў канцы княжання Казіміра і ў пачатку княжання Аляксандра, у дакументах зваўся жалудоцкім цівуном ці жалудоцкім намеснікам. Пераемнік яго па ўрадзе, дворны канюшы пан Марцін Храбтовіч, тытулуецца ў актах «наместникомъ» жалудоцкім.