رفیعی در روز ۴ دی ۱۳۰۶، در بم به دنیا آمد. وی فرزند لطفعلی رفیعی، نماینده مردم بم در مجلس شورای ملی بود. پس از گذراندن تحصیلات مقدماتی در همان شهر در جوانی به‌خاطر موسیقی، تحصیل را در بم نیمه‌کاره گذاشت و به تهران آمد. در تهران ابتدا با مصطفی گرگین زاده و سپس با مجید وفادار آشنا شد که حاصل آشنایی داریوش رفیعی با مجید وفادار ضبط ترانه‌هایی مشهور مانند: «زهره» , «شب انتظار» با مطلع: شب به گلستان تنها منتظرت بودم، «گلنار» با مطلع: گلنار، گلنار، کجایی که از غمت ناله می‌کند، عاشق وفادار… و بسیاری ترانه مشهور دیگر شد.