В общем ничего не вышло, ImGui для dx8 нет, минимальная версия это dx9. Но, руки опускать все ровно не хочется, раз с встроенным GUI движком в xtreme3d проблемы, решил стоит попробовать портировать imgui для xtreme3d, там как раз есть биндинг для win32 и opengl 2. Только как подключится к контексту X3D я не знаю, в GLScene нет функции для получения HDC и HGLRC (или я не нашел), если будет у кого время добавить функции для возврата текущих HDC и HGLRC (wglGetCurrentContext) в x3d, готов полностью добавить ImGui 
Программист,Художник
музыкальный продюсер (FIRERUN): https://soundcloud.com/djfirerun
Xtreme3D Editor (Xtreme3D с графическим интерфейсом): https://vk.com/x3deditor
музыкальный продюсер (FIRERUN): https://soundcloud.com/djfirerun
Xtreme3D Editor (Xtreme3D с графическим интерфейсом): https://vk.com/x3deditor