Sorunuzun tam cevabını bilmiyorum. Eminim google vs. biryerlerde vardır.
2 boyutta çalışmalarım oldu ama 3d bulaşmadığım bir alan.
Optimize bir çözüm değil ama, kendi adıma söyle yapardım.
Madem ki 4 nokta ve aranan 5. nokta aynı düzlemdeler,
Öncelikle Z eksenini rotasyon matrisi kullanıp sıfırlar, 2 boyuta inip, düzlem üzerinde aynı doğrultuda olmayan 3 nokta seçip, aranan noktanın (x,y) koordinatını bulup, tekrar rotate edip 3 boyuta dönerdim.
Anlattığım şekilde olsun, direkt 3D hesaplama için önerebileceğim opengl kütüphanelerini, ve oyun yazılım sitelerini incelemeniz.