Даны дифференциальные уравнения второго порядка

Это однородное дифференциальное уравнение второго порядка. Составим его характеристическое уравнение и найдем характеристические корни:
k2+12k+40=0
Дискриминант: D=b2-4ac=122-4∙1∙40=144-160=-16=4i2
Имеем корни:
k1=-b-D2a=-12-4i2=-6-2i,k2=-b+D2a=-12+4i2=-6+2i
Получили сопряженные комплексные корни вида a+bi, поэтому общее решение имеет вид:
y=eaxC1cosbx+C2sinbx=e-6xC1cos2x+C2sin2x