وی پس از پایان تحصیلات مقطع ابتدایی تحت تکفل برادر بزرگ و خود شهید حجت الاسلام والمسلمین حاج سید نورالدین رحیمی قرار گرفت و تحصیلات حوزوی خود را با تخصص خارج فقه و اصول ادامه داد.

برادرش که به قم مشرف شد او هم همراه برادر به شهر خون و قیام رفت و به طور رسمی تحصیل علوم دینی را آغاز کرد. در این مدت در درس خارج فقه و اصول از محضر اساتید حوزه علمیه قم از جمله آیت الله شهید مدنی استفاده کرد و در مسجد علوی خرم آباد به ارشاد جوانان می‌پرداخت و آنان را با اصول دین و روش‌های مبارزه با ظلم و عصیانگری آشنا می‌ساخت.

در دوران اوج گیری تظاهرات‌ها و قیام مردم علیه شاه به خاطر دشمن‌ستیزی به فخر لرستان» معروف شده بود و اتکا به شعار دیانت ما عین ت ماست و ت ما عین دیانت ما» او را به ‌ای تبدیل کرد که در دل دشمنان هراس می‌افکند.

ثبت بیش از ۲۵۰ برگ سند محرمانه از فعالیت‌های آشکار او در ساواک و نیز صلابت و اقتدار در برابر شکنجه‌های آنان موجب شده بود تا لحظه‌ای از مبارزاتش غافل نباشند. ساواک و نیرو‌های نظامی شاه به شدت او را تحت کنترل داشتند و سعی می‌کردند ارتباطش را با مردم قطع کنند، اما هرگز این اتفاق نیافتاد. او مدتی بعد به زادگاهش بازگشت و در مسجد علوی پایگاهی فعال را برای مبارزه با رژیم ایجاد کرد.

همزمان با ماجرای مدرسه فیضیه و شهادت طلاب حوزه علمیه قم، به صف مبارزان نهضت امام خمینی (ره) پیوست