เสด็จในกรมฯ ทรงดำรงตำแหน่ง เสนาบดีกระทรวงทหารเรือ เพียงไม่กี่วันเท่านั้น ก็ได้กราบบังคม ลาออกจากราชการ ไปตากอากาศ เพื่อพักผ่อน รักษาพระองค์ เมื่อวันที่ ๑๗ เมษายน พ.ศ. ๒๔๖๖  ทั้งนี้ก็เพราะ เสด็จในกรมฯ ทรงมีสุขภาพ ไม่สมบูรณ์ และประชวร พระโรค ภายใน อยู่ด้วย ทางกระทรวง ทหารเรือ ได้สั่งให้กระบวนเรือที่ ๒ จัด ร.ล.เจนทะเล ถวายเป็นพาหนะ และกรมแพทย์ทหารเรือ ได้จัดนายแพทย์ประจำพระองค์ ๑ นาย พร้อมด้วยพยาบาลตามเสด็จไปด้วย เสด็จในกรมฯ ได้เสด็จออกจากกรุงเทพฯ เมื่อวันที่ ๒๑ เมษายน พ.ศ. ๒๔๖๖ เสด็จในกรมฯ ได้เสด็จไปประทับ อยู่ที่ด้านใต้ปากน้ำ เมืองชุมพร ซึ่งเป็นที่เสด็จในกรมฯ ทรงจองไว้จะทำสวน ขณะที่เสด็จในกรมฯ ประทับอยู่ที่จังหวัดชุมพรนี้ ก็เกิดเป็นพระโรคหวัดใหญ่ เนื่องจากถูกฝน ทรงประชวรอยู่เพียง ๓ วัน ก็สิ้นพระชนม์ที่ ตำบลทรายรี ในวันที่ ๑๙ พฤษภาคม พ.ศ. ๒๔๖๖ สิริพระชนมายุได้ ๔๔ พรรษา 

ในวันที่ ๒๐ พฤษภาคม พ.ศ. ๒๔๖๖ ร.ล.เจนทะเล ได้เชิญพระศพ จากจังหวัดชุมพรมายังกรุงเทพฯ และมาพักถ่ายพระศพสู่ ร.ล. พระร่วง ที่บางนา ต่อจากนั้น ร.ล.พระร่วงได้นำพระศพ เข้ามายังกรุงเทพฯ นำพระศพประดิษฐาน ไว้ที่วังของพระองค์ท่าน พระบาทสมเด็จ พระมงกุฏเกล้าเจ้าอยู่หัว ทรงบำเพ็ญพระราชกุศล พระราชทาน จนถึงวันที่ ๒๔ ธันวาคม พ.ศ. ๒๔๖๖ ได้ทรงพระกรุณา โปรดเกล้าฯ ให้อัญเชิญพระศพ ไปพระราชทานเพลิง ณ พระเมรุท้องสนามหลวง

วันนี้ผมฟังเพลงทหารเรือตั้งแต่เช้าแล้ว ฟังแล้วน้ำตาไหล

http://www.thainavy21.com/home.php?Content=Song

ผมก็เป็นอีกคน ที่เคารพท่านเสด็จในกรมฯเช่นกันครับ

เพลง ดาบของชาติ เพลงพระนิพนธ์ของเสด็จในกรมฯ

ดาบของชาติเล่มนี้ คือชีวิตเรา

ถึงจะคมอยู่ดี          ลับไว้

สำหรับสู้ไพรี           ให้ชาติ เรานา

ให้มิตรให้เมียให้      ลูกแล ชาติไทย