สมเด็จพระนางเจ้ารำไพพรรณีฯ โปรดดอกไม้เป็นอย่างยิ่ง เมื่อทรงว่างจากพระราช กรณียกิจแล้ว ก็โปรดที่จะประทับในเรือนเพาะชำ ทรงปลูกต้นไม้รดน้ำ ใส่ปุ๋ยด้วยประองค์เอง บริเวณพระตำหนักใหญ่และพระตำหนักดอนแคจึงงดงามด้วยพันธุ์ไม้นานาชนิด ทั้งไม้ยืนต้น เช่น มะฮอกกานี ราชพฤกษ์ (คูน) ศรีตรัง เสลา อินทนิล หางนกยูงฝรั่ง และเหลืองอินเดีย ซึ่งให้ทั้งความร่มรื่นและความงามยามที่ดอกบานสะพรั่ง ส่วนไม้พุ่มที่ช่วยเติมแต่งสีสันและให้กลิ่นหอม ล้วนมีหลากหลาย เช่น ลั่นทม แก้ว แคฝรั่ง โศกสปัน ดอนย่า เป็นต้น นอกจากนี้ ยังมีไม้ เถาเลื้อย เช่น พุทธชาด พวงแสด พวงทอง พวงชมพู พวงแก้วแดง พวงคราม พวงโกเมน และพวงหยก ซึ่งเป็นพันธุ์ไม้ที่หายากและมีดอกที่สวยงามแปลกตา ส่วนตามถนนบริเวณพระตำหนักทรงปลูกว่านสี่ทิศ บัวสวรรค์ ซึ่งเป็นไม้ดอกประเภทหัว (Bulbs) ที่เมื่อถึงฤดูกาลก็จะมีดอกที่สร้างสีสันสดใสโดยรอบบริเวณพระตำหนักทั้งสอง
บริเวณที่เป็นสวนดอกไม้ส่วนพระองค์ อยู่ด้านตะวันออกของพระตำหนักใหญ่ เป็นสวนดอกไม้เมืองหนาวมีสระเลี้ยงเต่า เลี้ยงปลา และสระน้ำที่สร้างเป็นระดับลดหลั่นกันลงมาเพื่อให้น้ำไหลรินลงสู่เบื้องล่าง สวนดอกไม้แห่งนี้เป็นสถานที่ทรงสำราญพระราชหฤทัยของพระองค์ตลอดเวลาที่ประทับ ณ สวนบ้านแก้ว