微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者
未分类

Golang精编100题

能力模型 级别 模型 初级 primary 熟悉基本语法,能够看懂代码的意图; 在他人指导下能够完成用户故事的开发,编写的代码符合CleanCode规范; 中级 intermediate 能够独立完成用户故事的开发和测试; 能够嗅...

5天前 1℃ 0评论

go

Golang build 填坑笔记

从一个bug说起 bug描述 在尝试用docker的alpine镜像运行从golang镜像中编译出来的可执行文件时出现如下的错误 standard_init_linux.go:211: exec user process caused "no such file or dire...

2周前 (11-14) 1℃ 0评论

python

Python 多进程、多线程效率比较

Python 多进程、多线程效率比较 Python 界有条不成文的准则: 计算密集型任务适合多进程,IO 密集型任务适合多线程。本篇来作个比较。 通常来说多线程相对于多进程有优势,因为创建一个进程开销比较大,然而因为在 python 中有 GIL 这把大锁的存在,导致执行计...

2周前 (11-13) 3℃ 0评论

python

Python Django mysqlclient安装和使用

Python Django mysqlclient安装和使用
一、安装mysqlclient 网上看到很过通过命令:pip install mysqlclient 进行安装的教程,但是我却始终安装失败,遇到的错误千奇百怪,后来通过自己下载mysqlclient客户端终于安装成功; 首先打开网址:https://www.lfd.uci.ed...

2周前 (11-12) 2℃

python

python笔记(Django定时任务)

链接:https://www.jianshu.com/p/e4a8f173b4b0 实现Django定时任务的方法(插件)很多,复杂却功能完备的有: Django-celery。但今天我们使用Django-crontab,选择它的原因在于配置简单,使用方便。废话不...

2周前 (11-12) 2℃

python

Django+Django-Celery+Celery的整合实战

Django+Django-Celery+Celery的整合实战
Django+Django-Celery+Celery的整合实战 本篇文章主要是由于计划使用django写一个计划任务出来,可以定时的轮换值班人员名称或者定时执行脚本等功能,百度无数坑之后,终于可以凑合把这套东西部署上。本人英文不好,英文好或者希...

2周前 (11-12) 2℃

python

Python—在Django中使用Celery

Python—在Django中使用Celery
Python—在Django中使用Celery 一.Django中的请求   Django Web中从一个http请求发起,到获得响应返回html页面的流程大致如下:     http请求发起     经过中间件       http handling(reque...

2周前 (11-12) 3℃

未分类

kafka 设置消费group为最新offset

下载依赖jar 包 kafka-tools-0.0.3.jar  kafka-tools-0.0.3-sources.jar (源码文件) 也可以通过maven下载 pom 文件配置 Expand source   使用example ...

2周前 (11-11) 3℃

未分类

rsyslog 接入权限认证的Kafka集群

说明: kafka权限接入包含两种方式,了解具体接入可参考 本案例使用kafka的第二种使用方式,案例如下: Icon SparkConf sparkConf = new SparkConf() .setAppName("JavaSparkStreamingSQLKa...

2周前 (11-11) 2℃

kafka

kafka单条日志超过1M解决方案

一、说明 kafka默认会丢弃超过单调日志超过1M的记录。如果单条日志超出1M(压缩后),客户端会报出如下错误。 错误日志 Icon java.util.concurrent.ExecutionException: org.apache.kafka.common.errors...

2周前 (11-11) 1℃

kafka

日志实时收集之FileBeat+Kafka

日志实时收集之FileBeat+Kafka
flume,logstash 都是基于jvm的,都比较耗资源,而filebeat是基于go的,把logstash的核心拿出来了,但是没有执行格式化,只是在端上采集,,,, 之前,我们的某一个业务用于实时日志收集处理的架构大概是这样的: http://rk700.github....

2周前 (11-10) 3℃

kafka

kafka单独设置数据过期时间

kafka 单独设置某个topic的数据过期时间 kafka 默认存放7天的临时数据,如果遇到磁盘空间小,存放数据量大,可以设置缩短这个时间。 全局设置 修改 server.properties log.retention.hours=72 log.cleanup.policy=...

2周前 (11-09) 2℃

日志采集

阿里Canal框架(数据同步中间件)初步实践-Java知音

阿里Canal框架(数据同步中间件)初步实践-Java知音
思维导图 本文章已收录到个人博客网站(我爱B站):me.lovebilibili.com 前言 我们都知道一个系统最重要的是数据,数据是保存在数据库里。但是很多时候不单止要保存在数据库中,还要同步保存到Elastic Search、HBase、Redis等等。 这时我注意到阿里...

3周前 (11-07) 2℃

linux

cobbler全自动批量安装部署linux

cobbler全自动批量安装部署linux
cobbler全自动批量安装部署linux Cobbler的设计方式: Cobbler的配置结构基于一组注册的对象。每个对象表示一个与另一个实体相关联的实体(该对象指向另一个对象,或者另一个对象指向该对象)。当一个对象指向另一个对象时,它就继承了被指向对象的数据,并可覆盖或添加...

3周前 (11-05) 2℃

hbase

用Python操作HBase之HBase-Thrift

  玉米丛里吃过亏 2018-01-14 12:30:56 26252 收藏 18 分类专栏: python hbase 文章标签: hbase thrift hbase-thrift python 版权 安装Thrift 安装Thrift的具体操作,请点击链接 htt...

3周前 (11-03) 2℃

linux

windows和linux7双系统的启动顺序问题

ubantu用 grub linux7用到grub2了 grub2-set-default 0 设置第一个顺序为启动项 grub2-editenv list   1. vim  /boot/grub2/grub.conf 手动调节menuentry项的顺序,比如把这个放...

3周前 (11-02) 2℃

hadoop

yarn编码获取application列表

1、 新建maven工程 https://blog.csdn.net/a794922102/article/details/86632625 https://blog.csdn.net/nma_123456/article/details/51692721 2、 编写代码 &nb...

4周前 (10-28) 3℃

hive

hive JDBC 进度和日志查看

hive JDBC 进度和日志查看 @(hive)[JDBC|进度|日志] hive的JDBC提供了java连接hiveserver2查询的能力,但是hive JDBC有别于关系型数据库,一个查询语句可能要在十几分钟到几十分钟才会返回结果,而hive JDBC...

4周前 (10-28) 3℃

未分类

基础概念hive vs spark vs hive on spark

基础概念hive vs spark vs hive on spark
hive hive与hadoop关系:hive是基于Hadoop的一个数据仓库工具,Hive是建立在 Hadoop 上的数据仓库基础构架。 通俗意义上的hive,就是hive on mr Step 1:UI(user interface) 调用 execu...

4周前 (10-28) 2℃