14336 ist OFN_PATHMUSTEXIST | OFN_FILEMUSTEXIST | OFN_CREATEPROMPT. Das widerspricht sich doch. OFN_CREATEPROMPT bedeutet, dass der Benutzer bei Angabe eines Dateinamens, der nicht existiert, bestätigen muss. OFN_FILEMUSTEXIST bedeutet, dass der Benutzer gar keine Datei angeben kann, die nicht existiert. Was willst du mit dieser Kombination erreichen?
Was heißt "Es kommt"? GetLastError ist für GetOpenFileName nicht zuständig, ich weiß nicht, warum du das immer noch aufrufst. Und CommDlgExtendedError kann diesen Fehlercode nicht zurückliefern.
Ich vermute immer noch, dass du dir irgendwo in deinem Programm den Speicher zerschießt, und es sich eben genau da bemerkbar macht.