当前位置：首页 > 实用文档 > 其他范文> Python使用稀疏矩阵节省内存实例

Python使用稀疏矩阵节省内存实例

时间：2023-07-12 08:15:40 其他范文收藏本文下载本文

Python使用稀疏矩阵节省内存实例（集锦7篇）由网友“不读书就没饭吃”投稿提供，下面是小编收集整理的Python使用稀疏矩阵节省内存实例，供大家参考借鉴，希望可以帮助到有需要的朋友。

Python使用稀疏矩阵节省内存实例

篇1：Python使用稀疏矩阵节省内存实例

热点排行

Python入门教程超详细1小时学会

python 中文乱码问题深入分析

比较详细Python正则表达式操作指

Python字符串的encode与decode研

Python open读写文件实现脚本

Python enumerate遍历数组示例应

Python 深入理解yield

Python+Django在windows下的开发

python 字符串split的用法分享

python 文件和路径操作函数小结

篇2：Python translator使用实例

-03-03python dict remove数组删除(del,pop)

-05-05python操作MySQL数据库的方法分享

-04-04python监控网卡流量并使用graphite绘图的示例

2013-03-03Python 随机生成中文验证码的实例代码

2014-04-04Python中的map、reduce和filter浅析

2014-06-06pycharm 使用心得（五）断点调试

2014-01-01python使用scrapy解析js示例

2014-05-05从零学python系列之新版本导入httplib模块报ImportError解决方案

2014-06-06python 字典(dict)遍历的四种方法性能测试报告

2014-02-02python去掉字符串中重复字符的方法

篇3：Python translator使用实例

热点排行

Python入门教程超详细1小时学会

python 中文乱码问题深入分析

比较详细Python正则表达式操作指

Python字符串的encode与decode研

Python open读写文件实现脚本

Python enumerate遍历数组示例应

Python 深入理解yield

Python+Django在windows下的开发

python 文件和路径操作函数小结

python 字符串split的用法分享

篇4：Python fileinput模块使用实例

这篇文章主要介绍了Python fileinput模块使用实例,fileinput模块可以遍历文本文件的所有行,本文就给出它的使用代码实例,需要的朋友可以参考下

fileinput模块可以遍历文本文件的所有行.它的工作方式和readlines很类似,不同点在于,它不是将全部的行读到列表中而是创建了一个xreadlines对象.

下面是fileinput模块中的常用函数

input #它会返回能够用于for循环遍历的对象.

filename() #返回当前文件的名称

lineno() #返回当前(累计)的行数

filelineno() #返回当前文件的行数

isfirstline() #检查当前行是否是文件的第一行

代码如下:

#!/bin/env python

#coding=utf-8

import fileinput

import sys

import glob

import string

‘‘‘ 处理一个文本文件 ‘‘‘

for line in fileinput.input(“tab.sh”):

print line

‘‘‘处理多个文本文件并输出行号‘‘‘

for line in fileinput.input(glob.glob(“*.sh”)):

if fileinput.isfirstline():

print “------ reading %s ------\n” % fileinput.filename()

print str(fileinput.lineno()) + “ ” + line

例子：

代码如下:

[root@rac1 admin]# python ftest.py

abc_permission_collection

abc_user

abc_user_group_relationship

------ reading c.sh ------

1 c

2 cc

3 ccc

------ reading tab.sh ------

4 abc_permission_collection

5 abc_user

6 abc_user_group_relationship

[root@rac1 admin]#

篇5：Python中使用MELIAE分析程序内存占用实例

这篇文章主要介绍了Python中使用MELIAE分析程序内存占用实例,本文直接给出使用代码示例,需要的朋友可以参考下

写的dht协议搜索的程序，这几天优化了一下发现速度确实快了好多，但是出现了一个新的问题，内存直接飙升，我开了十个爬虫占用内存800m。开始我以为是节点太多了，找了几个小问题修改一下，发现没用。后来就到网上查找python内存分析的工具，查了一点资料发现python有个meliae库操作非常方便，就使用分析了一下，发现不是节点太多的原因0 0,是保存发送的t_id，用来标示返回的消息是那个发出的一个字典过大了。

从分析的结果非常容易的定位了某个对象的数量和大小，非常容易分析。我开始以为是因为好多发送查询信息以后，对面没返回造成这个字典里的元素没有释放造成的，我就用过期时间判断了一下，进行过期删除。发现是小了，但是不是非常显著，好像少了几十不到100M。后来又减少了查找一个随机hash的时间，以前是1分钟查一次，我改成了就第一次查！，发现没减少0 0.不知道是啥的原因。应该就是查找hash，询问节点，然后返回然后询问里边的节点，最后数量越来越多，但是我不明白的是，怎么会这么多运行一分钟就有60万条。也就是说当时内存没释放的对象就有这么多。达到这个内存占用后，基本就不再变化，有很小很慢的提升，因为还开的其他程序，不确定是不是这些程序其他对象的增加造成的。等分阶段dump测试一下。

安装直接pip install meliae 就ok了，我看好久没更新的项目了，不知道还有没有好的替代品不过用着还不错。

将内存dump到文件

代码如下:

from meliae import scanner

scanner.dump_all_objects(‘/tmp/dump%s.txt‘ % time.time())

分析文件：

代码如下:

from meliae import loader

#加载dump文件

m = loader.load(‘/opt/log/dump.txt‘)

#计算各Objects的引用关系

om.compute_parents()