Something you don’t know

林语堂说,人生中幸福之一是跟自己的小孩玩耍,这点不假。

互联网下班晚,但每每到家两个小朋友一窝蜂般涌过来还是让人开心的。

人生的幸福感来自快乐+满足感。闹腾的小朋友是能够让你很快忘记工作的烦恼并参与其中的。

满足感往往来自认可。小朋友迟迟不睡等待你的归来,然后一手拧着小枕头一手拿着小兔子玩具过来找你,说要找你陪着睡觉,嗯,虽然每天陪着时间少,被认可感觉真好。

Something you don’t know

spark中的stage和task

提交spark任务之后,在yarn中可以看到以下任务页面:

我们需要分析每个job的执行情况,所以需要弄清楚stage、task的分配。在spark中RDD生成的任务构成DAG,由DAGScheduler管理,RDD可以切分成不同的stage,每个stage提交到taskScheduler进行调度执行,每个task由executor执行。总体如下图:

executor的资源配置决定了总体的执行效率。计算较慢可以观察executor的总体资源占用情况。

spark中的stage和task

蒙特卡洛方法

基本思想

通常蒙特卡罗方法可以粗略地分成两类:

一类是所求解的问题本身具有内在的随机性,借助计算机的运算能
力可以直接模拟这种随机的过程。例如在核物理研究中,分析中子
在反应堆中的传输过程。中子与原子核作用受到量子力学规律的制
约,人们只能知道它们相互作用发生的概率,却无法准确获得中子
与原子核作用时的位置以及裂变产生的新中子的行进速率和方向。
科学家依据其概率进行随机抽样得到裂变位置、速度和方向,这样
模拟大量中子的行为后,经过统计就能获得中子传输的范围,作为
反应堆设计的依据。

另一种类型是所求解问题可以转化为某种随机分布的特征数,比如
随机事件出现的概率,或者随机变量的期望值。通过随机抽样的方
法,以随机事件出现的频率估计其概率,或者以抽样的数字特征估
算随机变量的数字特征,并将其作为问题的解。这种方法多用于求
解复杂的多维积分问题。

求解流程

1、待求解问题建模为一个概率随机过程
2、构造符合1随机过程的随机数。一般从已知概率分布,比如均匀分布,构造随机抽样样本
3、设计评估量,即设定2构造随机抽样过程的终止条件。

蒙特卡洛方法