勿忘,须舍

  • 首页

  • 标签

  • 分类

  • 归档

  • python 随记

  • 关于

  • 搜索

spark standalone集群搭建

发表于 2019-12-08 分类于 bigdata

下载软件

java JDK-1.8

spark

阅读全文 »

spark web信息获取

发表于 2019-12-08 分类于 bigdata
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
# -*- coding: utf-8 -*-

import re
import requests


def _get_requests(url):
response = requests.get(url)
content = ""
if response.status_code == 200:
content = response.content.decode()
return content

def _get_spark_common(st):
s = re.findall(r'<ul class="unstyled".*</ul>', body, re.S)[0]
s = re.sub(r'\s{2,}|<a.*?>|</a>', ' ', s)
print_format = "{:15}{}".format
print("********************************")
info = re.findall(r'<strong>(.*?)</strong>\s*(.*?)\s*</li>', s)
for k, v in info:
print(print_format(k, v))
else:
print("\n")

def _get_spark_works(st):
s = re.findall(r'<div class="aggregated-workers collapsible-table".*?</div>', body, re.S)[0]
s = re.sub(r'<a.*>|</a>', "", s)
s = re.sub(r'\s+', " ", s)
head = re.findall(r'<th .*?>(.*?)</th>', s)
work_info = [re.findall(r'<td.*?>\s*(.*?)\s*</td>', x) for x in re.findall(r'<tr>.*?</tr>', s)]
work_info.insert(0, head)
print_format = "{:<46}{:25}{:10}{:15}{}".format
print("****************Workers (%s)****************" % (len(work_info) - 1))
for row in work_info:
print(print_format(*row))
else:
print("\n")


def _get_spark_running_applications(st):
s = re.findall(r'<div class="aggregated-activeApps.*?</div>', body, re.S)[0]
s = re.sub(r'\s+', " ", s)
s = re.sub(r'<a.*?>|</a>|<form.*?>.*</form>', "", s, re.S)
head = re.findall(r'<th .*?>(.*?)</th>', s)
run_work_info = [re.findall(r'<td.*?>\s*(.*?)\s*</td>', x) for x in re.findall(r'<tr>.*?</tr>', s)]
run_work_info.insert(0, head)
print_format = "{:<28}{:20}{:10}{:25}{:25}{:10}{:13}{}".format
print("****************Running Applications (%s)***************" % (len(run_work_info) - 1))
for row in run_work_info:
print(print_format(*row))
else:
print("\n")

def _get_spark_completed_applications(st):
s = re.findall(r'<div class="aggregated-completedApps.*?</div>', body, re.S)[0]
s = re.sub(r'\s+', " ", s)
s = re.sub(r'<a.*?>|</a>|<form.*?>.*</form>', "", s, re.S)
head = re.findall(r'<th .*?>(.*?)</th>', s)
run_work_info = [re.findall(r'<td.*?>\s*(.*?)\s*</td>', x) for x in re.findall(r'<tr>.*?</tr>', s)]
run_work_info.insert(0, head)
print_format = "{:<28}{:20}{:10}{:25}{:25}{:10}{:13}{}".format
print("****************Completed Applications (%s)****************" % (len(run_work_info) - 1))
for row in run_work_info:
print(print_format(*row))
else:
print("\n")


if __name__ == "__main__":
url = "http://192.168.100.10:8080/"

body = _get_requests(url)
spark_common_info = _get_spark_common(body)
_get_spark_works(body)
_get_spark_running_applications(body)
_get_spark_completed_applications(body)

二叉树

发表于 2019-11-06 分类于 dataStructure

介绍

树 是一种经常用到的数据结构,用来模拟具有树状结构性质的数据集合。

树里的每一个节点有一个根植和一个包含所有子节点的列表。从图的观点来看,树也可视为一个拥有N 个节点和N-1 条边的一个有向无环图。

二叉树是一种更为典型的树树状结构。如它名字所描述的那样,二叉树是每个节点最多有两个子树的树结构,通常子树被称作“左子树”和“右子树”。

阅读全文 »

JavaScript Array

发表于 2019-10-31 分类于 web , JavaScript

数组对象的作用是:使用单独的变量名来存储一系列的值。

阅读全文 »

python subprocess module

发表于 2019-10-29 分类于 python , module

源代码: Lib/subprocess.py

参考:

官方文档

Python subprocess模块详细解读

vue 安装

发表于 2019-10-29 分类于 web , vue

独立版本

我们可以在 Vue.js 的官网上直接下载 vue.min.js 并用 <script> 标签引入。
Vue.js下载地址

1
<script src="path/to/vue.min.js"></script>
阅读全文 »

window mysql 初始化配置

发表于 2019-10-28 分类于 mysql

mysql 下载地址

https://dev.mysql.com/downloads/installer/

注: msi安装包的就直接安装

​ zip包的需要解压到特定地方然后配置系统变量的path路径,定位到mysql/bin目录下

阅读全文 »

mysql简介

发表于 2019-10-28 分类于 mysql

简介

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件之一。

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。

MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL 软件采用了双授权政策,分为社区版和商业版,由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,一般中小型网站的开发都选择 MySQL 作为网站数据库。

阅读全文 »

python itertools module

发表于 2019-10-25 分类于 python , module

简介

itertools 是python的迭代器模块,itertools提供的工具相当高效且节省内存

阅读全文 »

docker参数说明

发表于 2019-10-21 分类于 docker

Docker 命令参数

阅读全文 »
1…789…16
Mr Wang

Mr Wang

行动了才会有故事,说出来才会有结果。
154 日志
59 分类
43 标签
RSS
GitHub E-Mail Weibo
© 2022 Mr Wang
总访问量次 | 总访客数人