ในปี  พ.ศ. 2360  พระบาทสมเด็จพระพุทธเลิศหล้านภาลัย รัชกาลที่ 2  ได้โปรดเกล้า ฯ ให้ย้ายเมืองราชบุรี    ซึ่งตั้งอยู่บนฝั่งขวาของแม่น้ำแม่กลองไป อยู่บนฝั่งซ้ายของแม่น้ำ และโปรดเกล้า ให้สร้างกำแพงเมืองล้อมรอบทั้งนี้เพื่อให้ข้าศึกเข้าถึงตัวเมืองได้ยากขึ้น  พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ได้ทรงปรับปรุงการปกครองเป็นมลฑลต่าง ๆ จึงโปรดเกล้าฯ ให้ย้ายตัวเมืองกลับไปอยู่บนฝั่งขวาของแม่น้ำ  เมื่อและมีทางถอยเมื่อเสียเปรียบครั้นถึงรัชสมัย ปีพ.ศ.2440   โดยย้ายศาลากลางจังหวัดมาอยู่รวมกันกับศาลาว่าการมลฑลทางฝั่งขวา    ส่วนเมืองเก่าบนฝั่งซ้ายก็คงเป็นที่อยู่อาศัยของพวกเจ้าเมืองกรมการ เก่าๆ จนถึงปี พ.ศ. 2442 ได้มีการจัดตั้งกองทหารบกตามหัวเมืองต่างๆ เพื่อสะดวกในการวางกำลังไว้ตามพื้นที่  ที่มีความสำคัญทางยุทธศาสตร์ ดังนั้น ในปี  พ.ศ. 2446 จึงได้ย้ายกองบัญชาการกองพลทหารบกที่ 4  และกรมทหารบกที่ 4  จากสวนดุสิต มาตั้งอยู่ในกำแพงเมืองราชบุรีบนฝั้งซ้ายของแม่น้ำแม่กลองอันเป็นที่ตั้งของค่ายทหารในปัจจุบัน         

                        ในปี พ.ศ. 2454   จอมพลสมเด็จพระราชปิตุลาบรมพงศาภิมุข  เจ้าฟ้าภาณุรังษีสว่างวงศ์  กรมพระยาภาณุพันธุวงศ์วรเดช ซึ่งดำรงตำแหน่งเป็น   " นายทหารพิเศษ "  อยู่ในกรมทหารหน้า  อันเป็นต้นรากของกรมทหารบกราบที่ 4  ราชบุรี  มาตั้งแต่ พ.ศ. 2421  ทรงได้รับโปรดเกล้าฯ ให้ดำรงตำแหน่งผู้บังคับ การกรมทหารบกราบที่ 4  ค่ายทหารราชบุรี  พระองค์ทรงทำนุบำรุงหน่วยให้เจริญก้าวหน้ามากมาย  ทำให้ทหารมีโรงกินอยู่หลับนอนสะดวกสบาย  ทันสมัย  และได้ทรงมีความอุตสาหะเสด็จมาฉลองโล่    และ พระราชทานพระราโชวาทด้วยพระองค์เองเกือบทุกปี เว้นแต่ปีที่มีพระราชภาระอย่างอื่นมาขัดขวางจนกระทั่งเสด็จทิวงคต  เมื่อ พ.ศ. 2471  ซึ่งรวมเวลาที่ทรงเป็นนายทหารผู้ใหญ่อยู่ในกรมนี้ถึง 50 ปีเต็ม

                        จึงเป็นการเหมาะสมอย่างยิ่ง ที่ได้ขอพระราชทานนามค่ายทหารราชบุรีแห่งนี้ว่า  "  ค่ายภาณุรังษี  "   เมื่อวันที่  23  มิถุนายน  2507 เพื่อเป็นอนุสรณ์ สำหรับพระองค์ผู้ทรงเป็นอุปถัมภก  หน่วยทหารในค่ายนี้มาเป็นเวลานาน ..........

 แหล่งท่องเที่ยวในค่าย ฯ

                        ที่ตั้ง ศาลเจ้าพ่อน้ำเพ็ชรตั้งอยู่ภายในค่ายภาณุรังษี บริเวณมุมสนามหน้ากองบัญชาการกรมการทหารช่าง ด้านทิศตะวันตกใกล้โรงพยาบาลค่ายภาณุรังษี เจ้าพ่อน้ำเพ็ชรเป็นเทพผู้ศักดิ์สิทธิ์คู่กับเจ้าพ่อหลักเมือง ซึ่งทำหน้าที่ปกป้องคุ้มครองรักษาดูแล ค่ายภาณุรังษี ตลอดถึงข้าราชการและครอบครัวที่พักอาศัยอยู่ในค่ายทหารแห่งนี้ให้อยู่ร่มเย็นเป็นสุข เจริญรุ่งเรือง สมัครสมานสามัคคีและปราศจากภัยพิบัติทั้งปวง โดยมีประวัติความเป็นมาดังนี้คือ ในสมัยของ พลเอก กาจบัณฑิต โชติกญาณ อดีตเจ้ากรมการทหารช่างคนที่ 3 ขณะดำรงยศเป็นพลตรีและเป็นเจ้ากรมทหารช่างในช่วงปี 2502 - 2510 ได้ดำริให้มีการตั้งชื่อค่ายของหน่วยทหารที่อยู่รวมกันอยู่ในพื้นที่ของกรมการทหารช่างและของจังหวัดทหารบกราชบุรี ให้มีชื่อค่ายเรียกขานเหมือนหน่วยทหารในพื้นที่อื่น ๆ ที่ได้มีการตั้งชื่อค่ายกันมานานแล้วอนึ่งเพื่อความเป็นสิริมงคล เป็นการถวายพระเกียรติยศและเป็นการสำนึกในพระมหากรุณาธิคุณของจอมพลสมเด็จพระราชปิตุลาบรมพงศาพิมุขเจ้าฟ้าภาณุรังสีสว่างวงศ์ กรมพระยาภาณุพันธุวงศ์วรเดช ซึ่งได้เคยปกครองหน่วยทหารในพื้นที่นี้มาก่อนจึงได้ขอพระราชานุญาตนำพระนามย่อของพระองค์ท่านมาใช้เป็นชื่อค่ายว่า “ ค่ายภาณุรังษี ” และต่อมาได้ดำริจะทำการก่อสร้างป้ายชื่อค่ายภาณุรังษีขึ้น ให้มีขนาดใหญ่โดดเด่น เป็นศรีสง่า เห็นเด่นชัดเจนเป็นศิริมงคลและเพื่อให้เกิดความเจริญรุ่งเรื่อง ร่มเย็นเป็นสุขแก่ปวงข้าราชการจึงได้เชิญอาจารย์ผู้ทรงวิทยาคม กระทำพิธีนั่งทางในหาฤกษ์ยามที่เป็นมงคล กำหนดวันวางศิลาฤกษ์ ก็ได้เห็นนิมิตจากเทพผู้ศักดิ์สิทธิ์ได้แสดงให้เห็นในญาณ มีแสงสว่างพวยขึ้นเหนือแม่น้ำแม่กลองเป็นนิมิตหมายแสดงให้เห็นว่าในพื้นที่ที่จะกำหนดเป็นค่ายภาณุรังษีได้มีเทพผู้ศักดิ์สิทธิ์ดูแลอยู่ แต่ยังไม่ได้เปิดเผยไม่มีผู้ใดทราบมาก่อนและไม่มีการอัญเชิญให้ขึ้นประทับบนศาลถาวรให้เป็นที่เคารพสักการะของข้าราชการพ่อค้าประชาชน ดังนั้นอาจารย์ผู้ชำนาญเวทย์จึงได้เสนอแนะให้ กรมการทหารช่างได้ทำการสร้างศาลให้เป็นที่ประทับของเทพผู้ศักดิ์สิทธิ์องค์นี้และอัญเชิญขึ้นประทับบนศาลเสียและจากนิมิตอันที่เป็นมงคลที่เกิดแสงสว่างพวยพุ่งขึ้นเหนือแม่น้ำแม่กลอง อาจารย์ผู้ทรงวิทยาคมถึงถวายนามว่า “ เจ้าพ่อน้ำเพ็ชร ” สำหรับการวางศิลาฤกษ์ป้ายชื่อค่ายภาณุรังษี ได้กำหนดทำพิธีงานวางศิลาฤกษ์ ณ วันอังคาร แรม 9 ค่ำ เดือน 12 ปีขาล ตรงกับวันที่ 20 พฤศจิกายน 2505 เวลา 10.30 น . โดยอาจารย์ สุมิตร สัทธาธิโก ( ศรีทอง ) เป็นเจ้าพิธีพราหมณ์ หลังจากนั้นอีก 3 วัน ณ วันพฤหัสบดี แรม 11 ค่ำ เดือน 12 ปีขาล ตรงกับวันที่ 22 พฤศจิกายน 2505 ก็ได้มีพิธีบวงสวงตั้งศาลและเชิญเจ้าพ่อน้ำเพ็ชรขึ้นประทับบนศาลดดยอาจารย์ผุ้ชำนาญเวทย์จากกรุงเทพมหานคร ในขั้นต้นนั้น ยังไม่ได้จัดทำรูปจำลองของเจ้าพ่อน้ำเพ็ชรขึ้น คงใช้รูปเจว็ดเป็นเครื่องหมายแทนและต่อมาก็มีผู้เอาพระพุทธรูปจำลองมาตั้งแทนให้ เจ้าพ่อน้ำเพ็ชรเป็นเทพผู้ศักดิ์สิทธิ์ ข้าราชการและครอบครัว พ่อค้า ประชาชน ผู้ใดมีทุกข์ร้อน มาบนบานศาลกล่าว ก็ได้ช่วยอนุเคราะห์ปัดเป่าทุกข์ภัยต่าง ๆ ให้หมดสิ้นไป ได้ตามที่ปรารถนาทุกประการ โดยเฉพาะผู้ที่มีศรัทธาเลื่อมใสอย่างแท้จริง ก็จะไปแสดงนิมิตปรากฏกายให้เห็นในความฝันบอกเล่าโชคลาภให้ ช่วยแก้จนมาแล้วหลายราย มีผู้เคารพนับถือมา ตั้งแต่ปี 2505 สืบมาจนถึงปัจจุบัน .....