Podle dochovaných informací stávala již ve 12. století ve Všechromech zemanská tvrz.
Její umístění je však také zahaleno tajemstvím, jako pravděpodobná místa jsou uváděna kopec Horka v jižní části území nebo lokalita naproti bývalé obecní škole.
Nové informace v posledních letech ukazují na vrch ,,Pod Všechromy" jde o ostroh nad rybníky v nadmořské výšce 412Mnm.