CreateRemoteThread - ERROR_NOT_ENOUGH_MEMORY

우리 팀에서 만들 툴중에 타 프로세스에 dll 인젝션을 해서 뭔가 작업을 하는 툴이 있는데,

이 툴을 사용하는 타 부서에서 갑자기 동작이 안된다고 한다.

확인을 해보니 CreateRemoteThread에서 0x8 (ERROR_NOT_ENOUGH_MEMORY) 에러를 뱉는다.

메모리가 충분하지 않다고하니 그냥 재부팅 한번 해보세요 했는데 역시나 똑같다.

검색을 좀 해보니 비스타 이상부터 프로세스가 세션과 연계되어 처리되기 때문에 이런 증상이 나온다고 한다.

해당 툴을 사용한 PC가 빌드머신으로 사용되고 있어 여러명이 로그인을 하기 때문에 여러개의 세션이 생겨서 발생한 것으로 보인다.

해결 방법으로는 몇가지가 있지만 가장 깔끔한 방법으로는 NtCreateThreadEx 함수로 대체하는 것이다.

NtCreateThreadEx라면 CreateThread의 Nt 함수인데 왜 저걸 사용하는지 궁금해서

IDA로 kernelbase.dll, ntdll.dll 파일을 까봤다.

- CreateThread -

- CreateRemoteThread -

- CreateRemoteThreadEx -

CreateThread가 내부적으로 CreateRemoteThreadEx를 호출하고,

CreateRemoteThread도 내부적으로 CreateRemoteThreadEx를 호출하고,

CreateRemoteThreadEx는 내부적으로 NtCreateThreadEx를 호출하고 있었다.

그래서 NtCreateThreadEx 함수로 대체가 가능한 것이었다..는 것을 알았네요.

아래는 코드입니다.

NtCreateThreadEx 함수는 VISTA 부터 지원이 되므로 OS 버전을 체크하여

XP이하일 경우 CreateRemoteThread를 사용하고 그 위의 OS에서는 NtCreateThreadEx를 사용하도록 하였습니다.

BOOL IsWindowsVistaLater(void) { DWORDLONG dwlConditionMask; OSVERSIONINFOEX versionInfo; ZeroMemory(&versionInfo, sizeof(OSVERSIONINFOEX)); versionInfo.dwMajorVersion = 6; versionInfo.dwMinorVersion = 0; versionInfo.dwOSVersionInfoSize = sizeof(OSVERSIONINFOEX); dwlConditionMask = 0; dwlConditionMask = VerSetConditionMask(dwlConditionMask, VER_MAJORVERSION, VER_GREATER_EQUAL); dwlConditionMask = VerSetConditionMask(dwlConditionMask, VER_MINORVERSION, VER_GREATER_EQUAL); return VerifyVersionInfo(&versionInfo, VER_MAJORVERSION | VER_MINORVERSION, dwlConditionMask); } BOOL DllRemoteInjection(DWORD dwPID) { BOOL bRet = TRUE; HANDLE hProcess = NULL; HANDLE hThread = NULL; PWSTR pszLibFileRemote = NULL; __try { Sleep(50); // OpenProcess hProcess = OpenProcess(PROCESS_QUERY_INFORMATION | PROCESS_CREATE_THREAD | PROCESS_VM_OPERATION | PROCESS_VM_READ | PROCESS_VM_WRITE, FALSE, dwPID); if( hProcess == NULL ) { bRet = FALSE; __leave; } int cch = 1 + (int)strlen(m_strInjectDllPath); int cb = cch * sizeof(wchar_t); // VirtualAllocEx pszLibFileRemote = (PWSTR)VirtualAllocEx(hProcess, NULL, cb, MEM_COMMIT, PAGE_READWRITE); if( pszLibFileRemote == NULL) { bRet = FALSE; __leave; } // WriteProcessMemory if( !WriteProcessMemory(hProcess, pszLibFileRemote, (PVOID)(LPSTR)(LPCSTR)m_strInjectDllPath, cb, NULL) ) { bRet = FALSE; __leave; } // GetProcAddress PTHREAD_START_ROUTINE pfnThreadRtn = (PTHREAD_START_ROUTINE)GetProcAddress(GetModuleHandle("KERNEL32"), "LoadLibraryA"); if( pfnThreadRtn == NULL ) { bRet = FALSE; __leave; } // OS 버전 판단 if (IsWindowsVistaLater()) { // 함수포인터 추출 static FNTCREATETHREADEX fNtCreateThreadEx = (FNTCREATETHREADEX)GetProcAddress(LoadLibrary(_T("ntdll.dll")),"NtCreateThreadEx"); if (fNtCreateThreadEx == NULL) { return FALSE; } // 함수 호출 HANDLE hThread = NULL; DWORD dwRet = fNtCreateThreadEx(&hThread, 0x1FFFFF, NULL, hProcess, (LPTHREAD_START_ROUTINE)((PBYTE)pfnThreadRtn), pszLibFileRemote, FALSE, NULL, NULL, NULL, NULL); if(hThread == NULL) { bRet = FALSE; __leave; } } else { // CreateRemoteThread hThread = CreateRemoteThread(hProcess, NULL, 0, pfnThreadRtn, pszLibFileRemote, 0, NULL); if( hThread == NULL ) { bRet = FALSE; __leave; } } Sleep(1000); } __finally { if( pszLibFileRemote != NULL ) VirtualFreeEx(hProcess, pszLibFileRemote, 0, MEM_RELEASE); if( hThread != NULL ) CloseHandle(hThread); if( hProcess != NULL ) CloseHandle(hProcess); } return bRet; }