EF5.0+SQL Server 2012内存占用问题

本人使用MVC4.0+EF5.0+SQL Server 2012操作数据库，只要使用了EF，SQL Server的内存占用就和我的数据库文件大小成正比，我的数据库文件从3G升到10G，SQL Server的内存占用也从3G+升到10G+，是否使用EF都存在这个问题？请高手指点一下，谢谢！