historii Ostrogóry (Scharffenberg) mało dziś wiadomo. Po raz pierwszy osada z 8 włókami (lub może obszar ziemi pokryty w większości lasem?) jest wymieniona 13 listopada 1432 roku w akcie nadania Kadyn (z Pagórkami, Łęczem i młynem w Zajączkowie) przez wielkiego mistrza (w latach 1422-1441) Pawła von Russdorfa rycerzowi Hansowi von Baisen, czyli Janowi Bażyńskiemu. Dobra te, będące w zastawie za pożyczkę dla Zakonu, posiadł Bażyński na własność, z prawem dziedziczenia zarówno przez synów, jak i córki. 
Fragment mapy z Scharfenberg na terenie majątku kadyńskiego oraz starostwo tolkmickie. Karte von Ermeland oder zweites Blat von Westpreussen, Endersch, Johann Friedrich (1705-1769). Oprac. ; F. A. Schraembl, Wien 1789.
Przez wieki folwark Scharfenberg należał do właścicieli majątku kadyńskiego, administracyjnie do obszaru dworskiego (Gutsbezirk) Cadinen. Wśród licznych i wybitnych właścicieli, należących do bogatych patrycjuszowskich i magnackich rodów (Bażyńskich, Działyńskich, J.T. von Schliebena, W. Dąbskiego, W.F.K. von Schwerina, Birknerów), był sam cesarz Wilhelm II.
Po II wojnie światowej folwark był częścią zorganizowanego w Kadynach Państwowego Gospodarstwa Rolnego a później Państwowej Stadniny Koni.
Ostrogóra w 2015 r. fot. http://www.colsenagri.pl/o-firmie
W 1993 r. Ostrogórę wykupił norweski inwestor i powstała tutaj firma C.Olsen Farms Sp. z o.o. zajmująca się hodowlą zwierząt. Nowy właściciel odnowił historyczne budynki oraz zagospodarował przyległy teren. Między innymi drogi i ścieżki zostały wysypane białym grysem, postawiono estetyczne drewniane płoty, pastwiska zostały pięknie wystrzyżone. Do końca 2015 r. funkcjonowała tutaj Spółka C. Olsen Agri sp. z o.o. zajmująca się hodowlą koni arabskich. Do 2018 r. Ostrogóra była siedzibą "C.Olsen Invest" Sp. z o.o., która prowadziła działalność w branży nieruchomości.
Ostrogóra w 2015 r. fot. http://www.colsenagri.pl/o-firmie
Źródło:
D. Barton, Przewodnik krajoznawczy "z myszką" po Wysoczyźnie Elbląskiej, Elbląg 1997, s.109.
MP z 29 grudnia 1950 Nr A-134, poz. 1720.
http://www.colsenagri.pl/o-firmie [dostęp: 04.08.2020]
https://rcin.org.pl/dlibra [dostęp: 04.08.2020]