用long类型让我出了次生产事故,写代码照样要小心点

昨天发现线上试跑期的一个程序挂了,平时都跑的好好的,查了下日志是由于昨天运营跑了一家美妆top级淘品牌店,会员量近万万,一下子就把128G的内存给爆了,那时并行跑了二个义务,没辙先速写一段代码限流,后面再做进一步优化。

一: 靠山

1. 靠山先容

由于是自己写的代码,以是我知道问题出现在那里,若是人人看过我之前写的文章应该知道我用全内存跑了许多模子对用户打标签,一个模子就是一组定向的筛选条件,而为了加速处置,我会原子化筛选条件,然后一边查询一边缓存原子化条件获取的人数,后面的模子若是命中了前面模子的原子化条件,那么可以直接从缓存中读取它的人数即可,这也是动态计划的头脑~ ,若是不明白我来画张图。

用long类型让我出了次生产事故,写代码照样要小心点

从上面图可以看到,在盘算模子2的时刻,条件1的人数可以直接从模子1下的条件1处获取,模子三下的2,5的人数也可以直接从模子1和2处获取,这样就大大加速的处置速率。

2. 找缘故原由

适才提到了缓存人数,我也不知道为什么用了这么一个类型,如下代码:

        /// <summary>
        /// 缓存原子人群
        /// key: 原子化条件
        /// value: 人数聚集
        /// </summary>
        public ConcurrentDictionary<string, List<long>> CachedCrowds { get; set; } = new ConcurrentDictionary<string, List<long>>();

我说的是内里的List<long>,我居然用了long类型存储customerID,可能是看了这个项目先祖原先界说的long才跟风成long,,谁家店有数不尽的客户,国家才14亿人呢,而一个long占用8个字节,显著是一种虚耗。

二:解决方案

1. 将long转成int

人都是懒的,能少改点代码就少改点,省的背锅,好事不出门,坏事传千里,以是这里用int示意就足够了,应该能省一半的空间对不对,接下来为了演示,在List<long> 和 List<int> 中划分灌入 500w 客户ID,代码如下:


        public static void Main(string[] args)
        {
            var rand = new Random();

            List<int> intCustomerIDList = Enumerable.Range(1, 5000000).OrderBy(m => rand.Next(0, 100000))
                                                  .Take(5000000).ToList();

            List<long> longCustomerIDList = Enumerable.Range(1, 5000000).OrderBy(m => rand.Next(0, 100000))
                                                  .Take(5000000).Select(m => (long)m).ToList();

            Console.WriteLine("处置完毕...");
            Console.Read();
        }

接下来用windbg看一下他们在堆中各占若干内存。

~0s -> !clrstack -l -> !dumpobj 从主线程找到List<int>和List<long> 的局部变量,然后查看size。


0:000> ~0s
ntdll!ZwReadFile+0x14:
00007ff8`fea4aa64 c3              ret
0:000> !clrstack -l
OS Thread Id: 0x5b70 (0)
        Child SP               IP Call Site
00000015c37feed0 00007ff889e60b9c ConsoleApp2.Program.Main(System.String[]) [C:\dream\Csharp\ConsoleApp1\ConsoleApp2\Program.cs @ 35]
    LOCALS:
        0x00000015c37fef90 = 0x0000014ad7c12d88
        0x00000015c37fef88 = 0x0000014ad7c13060
        0x00000015c37fef80 = 0x0000014ad7c33438

00000015c37ff1a8 00007ff8e9396c93 [GCFrame: 00000015c37ff1a8] 
0:000> !do 0x0000014ad7c13060
Name:        System.Collections.Generic.List`1[[System.Int32, mscorlib]]
MethodTable: 00007ff8e7aaa068
EEClass:     00007ff8e7c0b008
Size:        40(0x28) bytes
File:        C:\WINDOWS\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll
Fields:
              MT    Field   Offset                 Type VT     Attr            Value Name
00007ff8e7a98538  400189e        8       System.Int32[]  0 instance 0000014af02d1020 _items
00007ff8e7a985a0  400189f       18         System.Int32  1 instance          5000000 _size
00007ff8e7a985a0  40018a0       1c         System.Int32  1 instance          5000000 _version
00007ff8e7a95dd8  40018a1       10        System.Object  0 instance 0000000000000000 _syncRoot
00007ff8e7a98538  40018a2        0       System.Int32[]  0   shared           static _emptyArray
                                 >> Domain:Value dynamic statics NYI 0000014ad61166c0:NotInit  <<
0:000> !do 0000014af02d1020
Name:        System.Int32[]
MethodTable: 00007ff8e7a98538
EEClass:     00007ff8e7c05918
Size:        33554456(0x2000018) bytes
Array:       Rank 1, Number of elements 8388608, Type Int32 (Print Array)
Fields:
None

0:000> !do  0x0000014ad7c33438
Name:        System.Collections.Generic.List`1[[System.Int64, mscorlib]]
MethodTable: 00007ff8e7aad2a0
EEClass:     00007ff8e7c0bd70
Size:        40(0x28) bytes
File:        C:\WINDOWS\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll
Fields:
              MT    Field   Offset                 Type VT     Attr            Value Name
00007ff8e7aa6c08  400189e        8       System.Int64[]  0 instance 0000014a80001020 _items
00007ff8e7a985a0  400189f       18         System.Int32  1 instance          5000000 _size
00007ff8e7a985a0  40018a0       1c         System.Int32  1 instance          5000000 _version
00007ff8e7a95dd8  40018a1       10        System.Object  0 instance 0000000000000000 _syncRoot
00007ff8e7aa6c08  40018a2        0       System.Int64[]  0   shared           static _emptyArray
                                 >> Domain:Value dynamic statics NYI 0000014ad61166c0:NotInit  <<
0:000> !do 0000014a80001020
Name:        System.Int64[]
MethodTable: 00007ff8e7aa6c08
EEClass:     00007ff8e7c09e50
Size:        67108888(0x4000018) bytes
Array:       Rank 1, Number of elements 8388608, Type Int64 (Print Array)
Fields:
None


仔细看上图,在主线程的客栈中找到了三个变量,后两个变量就是我们的List<int> 和 List<long>,划分是

Size: 33554456(0x2000018) bytes => 33554456/1024/1024 = 32M

Size:67108888(0x4000018) bytes => 67108888/1024/1024 = 64M

以后可以跟别人吹牛了,我知道500w个int占用是32M内存,虽然内存空间优化了一半,但没有本质性的优化,还得继续往上挖,否则同时跑4个义务又要把内存给爆掉了。。。

GitHub 热点速览 Vol.17:在?各家视频会员要不要?

2. 使用bitarray

我们在学习数据结构的时刻,信赖许多人都学习过bitmap,恰好原子化的筛选条件获取的人数众多,使用bitmap恰好知足我的营业需求,若是不知道bitmap我简朴注释一下。

<1> 原理注释

我们都知道一个int是4个字节。也就是4byte,也就是32bit,画成图就是32个格子,如下所示:

用long类型让我出了次生产事故,写代码照样要小心点

默认情况下32个格子示意一个int是不是有点虚耗,实在32个格子可以放置32个数字(1-32)。好比1放在第一个格子里,3放在第三个格子里。。。32放在第32个格子里,那么两个int就可以存放1-64个数字,也就是说理想情况下可以优化空间32倍,头脑一定要反转一下,把数字作为数组的下标,由于是bit,以是0,1两种状态恰好可以示意当前格子是否已经被设置了,1示意已设置,0示意未设置,好好品味一下,若是照样不明白,可以参考我八年前的文章:

经典算法题逐日演练——第十一题 Bitmap算法

在C#中已经帮我们设置好了一个BitArray类,连系我适才讲得,人人好好品味一下bitarray若何向各自格子中设置值的,底层照样用m_array承载,它实在是一个int[]。


public void Set(int index, bool value)
{
	if (value)
	{
		m_array[index / 32] |= 1 << index % 32;
	}
	else
	{
		m_array[index / 32] &= ~(1 << index % 32);
	}
	_version++;
}

public bool Get(int index)
{
	return (m_array[index / 32] & (1 << index % 32)) != 0;
}

<2> 查看内存占用

接下来把List<int> 中的数据灌入到bitArray中看看,先上一下代码:


        public static void Main(string[] args)
        {
            var rand = new Random();

            List<int> intCustomerIDList = Enumerable.Range(1, 5000000).OrderBy(m => rand.Next(0, 100000))
                                                  .Take(5000000).ToList();

            BitArray bitArray = new BitArray(intCustomerIDList.Max() + 1);

            foreach (var customerID in intCustomerIDList)
            {
                bitArray[customerID] = true;
            }

            Console.WriteLine("处置完毕...");
            Console.Read();
        }

然后抓一下dump文件,用windbg看一下内存占用。


0:000> !do 0x0000026e4d0332b8
Name:        System.Collections.BitArray
MethodTable: 00007ff8e7a89220
EEClass:     00007ff8e7c01bc0
Size:        40(0x28) bytes
File:        C:\WINDOWS\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll
Fields:
              MT    Field   Offset                 Type VT     Attr            Value Name
00007ff8e7a98538  4001810        8       System.Int32[]  0 instance 0000026e5dfd9bd8 m_array
00007ff8e7a985a0  4001811       18         System.Int32  1 instance          5000001 m_length
00007ff8e7a985a0  4001812       1c         System.Int32  1 instance          5000000 _version
00007ff8e7a95dd8  4001813       10        System.Object  0 instance 0000000000000000 _syncRoot
0:000> !DumpObj /d 0000026e5dfd9bd8
Name:        System.Int32[]
MethodTable: 00007ff8e7a98538
EEClass:     00007ff8e7c05918
Size:        625028(0x98984) bytes
Array:       Rank 1, Number of elements 156251, Type Int32 (Print Array)
Fields:
None

从图中可以看到,没错,就是bitArray类型,从Size中可以看到:

Size: 625028(0x98984) bytes => 625028/1024/1024 = 0.59M

看到没有,这个就了,由最初的64M优化到了0.6M,简直不要太爽,看到这么小的占用量,我感应死板而乏味,哈哈,这下并行跑几十家不怕了,这里要提醒一下,若是客户数少而且数字还大,就不要用bitArray啦,反而虚耗空间,固然数据量小怎么用也无所谓。

三:总结

跑小店肆的时刻代码怎么写都行,数据量大了四处都是坑,你的场景也总有优化的设施~

如您有更多问题与我互动,扫描下方进来吧~

用long类型让我出了次生产事故,写代码照样要小心点用long类型让我出了次生产事故,写代码照样要小心点

原创文章,作者:28x29新闻网,如若转载,请注明出处:https://www.28x29.com/archives/6255.html