История средневекового замка началась в 1272 г., когда в северном углу своих территорий того времени Ливонский орден основал замок, получивший немецкое название Оберпален.Место расположения замка Оберпален было стратегически важным – здесь у переправы через реку Пала пересекались основные пути Таллин-Тарту и Вильянди-Лайузе-Нарва, для контроля за которыми Ордену нужен был сильный замок. Во многих источниках упоминается, что замок основан под руководством магистра Отто фон Роденштейна, он же фон Лютерберг, однако магистр погиб 16 февраля 1270 г. под Карузе. Скорее всего, основателем замка мог быть магистр Ливонского ордена Вальтер фон Нордек. Замковая церковь Св. Николая была построена около 1300 г.
Первоначально стены Оберпалена были намного ниже нынешних, имели деревянные вышки и частокол ограждения до 100 м в длину. Тогда же был прорыт оборонительный ров, соединяющийся с рекой, и в который были отведены воды реки Пыльтсамаа. В 14 веке в восточной части укреплений был сооружен каменный замок типа орденской кастеллы, подобной тому, как были построены в Вильянди и Пярну, с длиной сторон до 38 м. Кастелла имела внутренний двор, окруженный галереями. Во время появления огнестрельного оружия повысили крепостную стену замка, пробили дополнительные амбразуры, по углам крепостных стен возвели башни.
Главная крепость – кастелла Оберпаленского замка до сих пор лежит в руинах, ее начали приводить в порядок лишь в 2001 г., укрепив стены специальными растяжками. Во дворе замка Пыльтсамаа проходят концерты Poltsamaa Fest под эгидой Таллинской филармонии. Eesti Kontsert и городская управа Пыльтсамаа плодотворно сотрудничают вот уже несколько лет подряд. Например, в 2004 г. здесь проходили выступления местных и иностранных звезд музыки.
