Do położonego kilka kilometrów na południowy wschód od Ogrodzieńca Ryczowa warto przyjechać, żeby zobaczyć ruiny strażnicy obronnej i wzgórza usłane skałami, których ilość wpłynęła na nadanie okolicy miana Ryczowskiego Regionu Skałkowego.
O historii wsi nie wiadomo właściwie nic, oprócz tego, że najstarszy dokument, w którym jest wzmiankowana, pochodzi z 1581 r. Ryczów otaczają wzgórza ze skałami, z których najbardziej znana jest Góra Straszakowa (484 m npm). Sąsiaduje z nią nieco bardziej zalesiona góra Ząbczysko. Dodatkową atrakcję stanowią jaskinie: W Straszakowej Górze, W Ząbczysku oraz Z Kominem. Oba wzniesienia znajdują się na wschód od wsi. Prowadzą do nich jedynie nieoznakowane ścieżki. Najbliższe szlaki to północna odnoga żółtego Szlaku Pustynnego, przebiegająca na południe od Góry Straszakowej oraz Czarny Szlak Partyzantów Ziemi Olkuskiej, który omija Ząbczysko od północy. Na zachód od Ryczowa, po drugiej stronie wąskiej szosy do Śrubarni wznoszą się góry: Grochowiec (486 m npm), Cisownik, Łysa Pałka i Księża. Teren pomiędzy nimi jest mocno zapiaszczony i nosi nazwę Pustyńki Ryczowskiej. Środkiem biegnie wspomniany szlak czarny.
Ryczowski zamek położony jest na północny wschód od centrum wsi, na skraju lasu (dojście szlakiem żółtym). Jest to jedna z charakterystycznych dla Jury strażnic obronnych. Budowane w XIV i XV w. warownie nosiły charakter tzw. zamków wyżynnych. Były niewielkie i wznoszono je na niedostępnych skałach (do niektórych można było wejść jedynie po drabinie). Jedne z nich były opuszczone, zamieszkiwane tylko w razie potrzeby, w innych rezydował posterunek straży. Do dzisiejszego dnia na Jurze zachowało się sześć tego typu strażnic. Ciekawostką jest, że powstawały później niż większość "dużych" zamków. Być może spowodowane było to koniecznością wzmocnienia obrony niespokojnego pogranicza.
Strażnica z Ryczowa pochodzi z XIV lub XV stulecia. Dokładna data jej powstania nie jest znana, podobnie jak pierwotni właściciele. Prawdopodobnie byli nimi panowie na zamku w Ogrodzieńcu. Wznosi się na niedostępnym ostańcu 16-metrowej wysokości. Pozostał w niej już tylko wkomponowany w skałę fragment muru, gdyż wieża zawaliła się razem ze skalnym odłamem w latach 20. XIX w. U podnóża ostańca można dojrzeć resztki wykutej w skale fosy. Strażnicę zaś można obejść wąską ścieżką przeciskającą się przez szczelinę skalną. W czasie II wojny światowej Niemcy rozstrzelali tu 16 mieszkańców wsi. Tragiczne wydarzenie upamiętnia pomnik, stojący obok szkoły.
Legenda mówi, że strażnica jest pozostałością po niedokończonym zamku Bonera, który panował wówczas w Ogrodzieńcu. Boner był "solą w oku" miejscowego diabła, który zazdrościł mu zgromadzonych skarbów i robił wszystko, aby utrudnić budowę. Prace budowlane trwały w dzień, a w nocy diabeł wszystko niszczył. Boner zrezygnował i nie zbudował zamku, pozostawiając na skale niedokończone dzieło.
Centrum wsi stanowi trójkątny plac, na środku którego znajduje się studnia. Zbiegają się w tym miejscu dwa ważne szlaki - Partyzantów Ziemi Olkuskiej i Pustynny. Będąc w Ryczowie nie sposób nie zajrzeć do miejscowej parafialnego kościoła Nawiedzenia Najświętszej Maryi Panny.