Всё куда- то не в ту степь советы ведут...
Нет сейчас в СВП таких настроек (*), чтобы вылетать по превышению памяти.
(*) одна есть, называется "количество потоков". Первым делом поменять её с "по-умолчанию" (**) на 12, 10 или сколько там из менюшки доступно.
(**) по-умолчанию для i7 с gpu должно выставляться 15 потоков.
Кроме того, исполняемый файл MPC-HC уже пропатчен для использования 3 ГБ. Какие-то билды Пота вроде бы тоже, но уверенности нет...
Короче.
1. Поставить высокие настройки, какие и были, ибо на хорошем железе все должно работать 
2. Взять MPC-HC (т.к. он
почти
гарантированно
(по крайней мере, раньше был)
пропатчен)
3. Если все-равно падает с такой же ошибкой - уворачивать "кол-во потоков" до наступления состояния "работает и не падает".
После этого продолжим 
----------
похоже для непрограмиста увеличить память до 3х гиг довольно сложно.
"не читайте советских газет" (с)
Вот однокнопочный патчер: выбрать .exe-файл, нажать "ОК".