勿忘,须舍

  • 首页

  • 标签

  • 分类

  • 归档

  • python 随记

  • 关于

  • 搜索

shell 杂记

发表于 2020-01-12 分类于 shell

shell 杂记主要记录shell使用的以下小技巧,及命令。

阅读全文 »

shell 脚本

发表于 2020-01-05 分类于 shell

第一个shell脚本

1
2
3
4
5
6
#!/bin/bash
echo "Hello World !"

注:
#! 是一个约定的标记,它告诉系统这个脚本需要什么解释器来执行,即使用哪一种 Shell。
echo 命令用于向窗口输出文本。
阅读全文 »

python zipfile module

发表于 2020-01-01 分类于 python , module

简介

zipfile是python里用来做zip格式编码的压缩和解压缩的

zipfile里有两个非常重要的class, 分别是ZipFile和ZipInfo, 在绝大多数的情况下,我们只需要使用这两个class就ok了

  • ZipFile是主要的类,用来创建和读取zip文件
  • ZipInfo是存储的zip文件的每个文件的信息的
阅读全文 »

python起一个固定端口

发表于 2019-12-21 分类于 python

python3

python -m http.serve [port]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# python -m http.server --help

[root@hadoop01 ~]# python3 -m http.server --help
usage: server.py [-h] [--cgi] [--bind ADDRESS] [--directory DIRECTORY] [port]

positional arguments:
port Specify alternate port [default: 8000]

optional arguments:
-h, --help show this help message and exit
--cgi Run as CGI Server
--bind ADDRESS, -b ADDRESS
Specify alternate bind address [default: all
interfaces]
--directory DIRECTORY, -d DIRECTORY
Specify alternative directory [default:current
directory]

python2

python -m SimpleHTTPServer [port]

YAML基本语法

发表于 2019-12-21 分类于 yaml

YAML:以数据为中心,比json、xml等更适合做配置文件,yaml必须遵守的三个规则

  • 缩进

    yaml使用一个固定的缩进风格表示数据层结构关系,Saltstack需要每个缩进级别由两个空格组成。一定不能使用tab键

  • 冒号

    每个冒号后面一定要有一个空格(以冒号结尾不需要空格,表示文件路径的模版可以不需要空格)

  • 短横线

    想要表示列表项,使用一个短横杠加一个空格。多个项使用同样的缩进级别作为同一个列表的一部分

阅读全文 »

cassandra相关操作

发表于 2019-12-15 分类于 database

用法示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
# -*- coding: utf-8 -*-

from cassandra.auth import PlainTextProvider
from cassandra.cluster import Cluster
from cassandra.cqlengine import columns, connection
from cassandra.cqlengine.models import Model
from cassandra.query import dict_factory

hosts = ["192.168.10.10", "192.168.10.11"]
username = "username"
password = "password"
port = 9042
keyspace = "mykeyspace"

auth_provider = PlainTextProvider(username=username, password=password)
cluser_conf_dict = dict(port=port, auth_provider=auth_provider)
connection.setup(hosts, keyspace, **cluser_conf_dict)
cluster = connection.get_cluster()
session = connection.get_session()

session.set_keyspace(keyspace)
session.default_fetch_size = 10000
session.default_timeout = 120


class ExapleModel(Models):
partition_1 = columns.Text(partition_key=True, primary_key=True)
partition_2 = columns.Text(partition_key=True, primary_key=True)
primary_1 = columns.Text(primary_key=True)
primary_2 = columns.Text(primary_key=True)
str_type = columns.Text()
boolean_type = columns.Boolean()
int_type = columns.Integer()
bigint_type = columns.BigInt()
float_type = columns.Float()
datatime_type = columns.DataTime()
list_str_type = columns.List(columns.Text)
set_str_type = columns.Set(columns.Text)
set_int_type = columns.Set(columns.Integer)
set_bigint_type = columns.Set(columns.Bigint)
map_type = columns.Map(columns.Text, columns.Float)

# create db statement
CREATE TABLE mykeyspace.examplemodel (
partition_1 text,
partition_2 text,
primary_1 text,
primary_2 text,
str_type text,
boolean_type boolea,
int_type int,
bigint_type bigint,
float_type float,
datatime_type timestamp,
list_str_type list<text>,
set_str_type set<text>,
set_int_type set<int>,
set_bigint_type set<bigint>,
map_type map<text, float>,
PRIMARY KEY((partition_1, partition_2), primary_1, primary_2)
) WITH CLUSTERING ORDER BY (primary_1 ASC, primary_2 ASC)
AND gc_grace_seconds = 0;

def connect_db(hosts, username, password, port, keyspace, timeout=120, default_size=10000):
auth_provider = PlainTextProvider(username=username, password=password)
cluster = Cluster(contact_points=hosts, port=port, auth_provider=auth_provider)
session = cluster.connect(keyspace)

# set session
session.default_fetch_size = default_size
session.default_timeout = timeout
session.row_factory = dict_factory
return cluster, session

def close_db(cluster, session):
session.shutdown()
cluster.shutdown()

def exec_sql(sql, **kwargs):
try:
cluster, session =connect_db(hosts, username, password, port, keyspace)
future = session.execute(sql, kwargs)
close_db(cluster, session)
except Execption as e:
close_db(cluster, session)
future = []
return future

minio mc使用

发表于 2019-12-15 分类于 minio

简述

MinIO Client (mc)为ls,cat,cp,mirror,diff,find等UNIX命令提供了一种替代方案。它支持文件系统和兼容Amazon S3的云存储服务(AWS Signature v2和v4)。

阅读全文 »

python操作minio

发表于 2019-12-15 分类于 python , module

前言

python版本:3.7

minio版本:5.0.5

1
2
3
4
5
6
7
# 使用pip安装
pip install minio

# 使用源码安装
git clone https://github.com/minio/minio-py
cd minio-py
python setup.py install

参考文档:

快速入门:https://docs.min.io/cn/python-client-quickstart-guide.html

完整文档:https://docs.min.io/cn/python-client-api-reference.html

API示例:https://github.com/minio/minio-py/tree/master/examples

阅读全文 »

pycharm2018.1激活教程

发表于 2019-12-08 分类于 python

补丁下载

下载补丁:JetbrainsCrack-release-enc.jar

配置文件

  1. 下载的补丁保存到PyCharm安装目录下的\bin目录下

    1
    E:\PyCharm 2018.1.1\bin\JetbrainsCrack-release-enc.jar
  2. 修改配置文件

    1
    2
    3
    # 在PyCharm安装目录下的\bin目录中找到pycharm.exe.vmoptions和pycharm64.exe.vmoptions, 添加:

    -javaagent:E:\PyCharm 2018.1.1\bin\JetbrainsCrack-release-enc.jar
  3. 启动pycharm,输入激活码, Help->Register->Activation code

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    // An highlighted block
    ThisCrackLicenseId-{
    “licenseId”:”11011”,
    “licenseeName”:”Wechat”,
    “assigneeName”:”IT--Pig”,
    “assigneeEmail”:”1113449881@qq.com”,
    “licenseRestriction”:””,
    “checkConcurrentUse”:false,
    “products”:[
    {“code”:”II”,”paidUpTo”:”2099-12-31”},
    {“code”:”DM”,”paidUpTo”:”2099-12-31”},
    {“code”:”AC”,”paidUpTo”:”2099-12-31”},
    {“code”:”RS0”,”paidUpTo”:”2099-12-31”},
    {“code”:”WS”,”paidUpTo”:”2099-12-31”},
    {“code”:”DPN”,”paidUpTo”:”2099-12-31”},
    {“code”:”RC”,”paidUpTo”:”2099-12-31”},
    {“code”:”PS”,”paidUpTo”:”2099-12-31”},
    {“code”:”DC”,”paidUpTo”:”2099-12-31”},
    {“code”:”RM”,”paidUpTo”:”2099-12-31”},
    {“code”:”CL”,”paidUpTo”:”2099-12-31”},
    {“code”:”PC”,”paidUpTo”:”2099-12-31”}
    ],
    “hash”:”2911276/0”,
    “gracePeriodDays”:7,
    “autoProlongated”:false}
  4. 查看有效期

    1
    Help->About

spark常见错误处理

发表于 2019-12-08 分类于 bigdata

参考:spark常见错误汇总

阅读全文 »
1…678…16
Mr Wang

Mr Wang

行动了才会有故事,说出来才会有结果。
154 日志
59 分类
43 标签
RSS
GitHub E-Mail Weibo
© 2022 Mr Wang
总访问量次 | 总访客数人