Numpy06: ввод и вывод

NumPy

пустые двоичные файлы

save(),savez()иload()Функции сохраняют и считывают данные в специфичных для numpy бинарных типах (npy, npz).Эти три функции будут автоматически обрабатывать такую ​​информацию, как ndim, dtype, shape и т. д. Их очень удобно использовать для чтения и записи массивов, ноsave()Выходные файлы вряд ли совместимы с программами, написанными на других языках.

Формат npy: файл хранится в двоичном формате, а метаданные данных (ndim, dtype, shape и т. д.) сохраняются в первой строке двоичного файла в текстовом виде, а содержимое можно просмотреть с помощью двоичных инструментов. .

Формат npz: храните файлы в сжатом пакете, который можно распаковать с помощью программного обеспечения для сжатия.

  • numpy.save(file, arr, allow_pickle=True, fix_imports=True) Save an array to a binary file in NumPy .npy format.
  • numpy.load(file, mmap_mode=None, allow_pickle=False, fix_imports=True, encoding='ASCII') Load arrays or pickled objects from .npy, .npz or pickled files.

【пример】

import numpy as np
outfile = 'test.npy'
np.random.seed(20201123)
x = np.random.uniform(0,1,[3,5])
np.save(outfile,x)
y = np.load(outfile)
print(y)

[[0.03911501 0.91357784 0.21820335 0.61869406 0.25371066]
 [0.75731372 0.16270282 0.77498589 0.41520052 0.15138986]
 [0.34765902 0.22682386 0.80095883 0.39216596 0.79913296]]
 

import os
# 取得当前工作目录
os.getcwd()

'/opt/team-learning-program-master/IntroductionToNumpy/task06 输入输出'
  • numpy.random.seed(num): Если используется одно и то же число, каждый раз генерируется одно и то же случайное число.
  • numpy.random.uniform(low,high,size): Случайная выборка из равномерного распределения [низкий, высокий), обратите внимание, что область определения слева закрыта, а справа открыта, то есть содержит низкий уровень и не содержит высокий.
  • numpy.savez(file, *args, **kwds) Save several arrays into a single file in uncompressed .npz format.

savez()Первый параметр — это имя файла, а следующие параметры — это массивы, которые необходимо сохранить. Вы также можете использовать параметры с ключевыми словами, чтобы дать массиву имя. Массив, передаваемый параметрами, не являющимися ключевыми словами, будет автоматически назван.arr_0, arr_1, ….

savez()На выходе получается сжатый файл (с расширением npz), где каждый файл представляет собойsave()Сохраненный файл npy, имя файла соответствует имени массива.load()Автоматически распознавать файлы npz и возвращать объект, похожий на словарь, вы можете использовать имя массива в качестве ключа для получения содержимого массива.

[Пример] Чтобы сохранить несколько массивов в файл, вы можете использоватьnumpy.savez()функция.

import numpy as np

outfile = r'test.npz'
x = np.linspace(0, np.pi, 5)
y = np.sin(x)
z = np.cos(x)
np.savez(outfile, x, y, z_d=z)
data = np.load(outfile)
np.set_printoptions(suppress=True)
print(data.files)  
# ['z_d', 'arr_0', 'arr_1']

print(data['arr_0'])
# [0.         0.78539816 1.57079633 2.35619449 3.14159265]

print(data['arr_1'])
# [0.         0.70710678 1.         0.70710678 0.        ]

print(data['z_d'])
# [ 1.          0.70710678  0.         -0.70710678 -1.        ]
  • Откройте файл test.npz с помощью программного обеспечения для распаковки, и вы найдете в нем три файла:arr_0.npy,arr_1.npy,z_d.npy, которые хранят массивы соответственноx,y,zСодержание.
  • numpy.linspace (начало, остановка, число = 50, конечная точка = Истина, retstep = Ложь, dtype = Нет) Сгенерируйте арифметическую последовательность от начала до конца, num — количество элементов, по умолчанию — 50.

текстовый файл

savetxt(),loadtxt()иgenfromtxt()Функции используются для хранения и чтения текстовых файлов (таких как TXT, CSV и т. д.).genfromtxt()Сравниватьloadtxt()Более мощный для обработки отсутствующих данных.

  • numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='\n', header='', footer='', comments='# ', encoding=None) Save an array to a text file.

    • fname: путь к файлу
    • X: Массив для хранения в файле.
    • fmt: строковый формат для записи каждого элемента в файле, по умолчанию «%.18e» (форма с плавающей запятой с 18 знаками после запятой).
    • разделитель: разделенные строки, разделенные пробелами по умолчанию.

  • numpy.loadtxt(fname, dtype=float, comments='#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding='bytes', max_rows=None) Load data from a text file.

    • fname: путь к файлу.
    • dtype: тип данных, по умолчанию — float.
    • комментарии: строка или список строк, значение по умолчанию — # , что указывает на начало набора символов комментария.
    • skiprows: сколько строк пропустить, обычно пропускают заголовок первой строки.
    • usecols: кортеж (данные в кортеже являются числовым индексом столбца), используется для указания столбца, из которого считываются данные (первый столбец равен 0).
    • unpack: нужно ли отделять столбцы данных и назначать их разным переменным при загрузке нескольких столбцов данных.

[Пример] Запись и чтение файлов TXT.

import numpy as np

outfile = r'test.txt'
x = np.arange(0, 10).reshape(2, -1)
np.savetxt(outfile, x)
y = np.loadtxt(outfile)
print(y)
# [[0. 1. 2. 3. 4.]
#  [5. 6. 7. 8. 9.]]
  • numpy.arange(n).reshape(c, -1)

Функция .reshape(c, -1) должна использоваться в формате матрицы или массива, что означает, что матрица или массив реорганизованы и представлены в виде c строк и d столбцов.

numpy.arange(n).shape    # (a,b)
numpy.arange(n).reshape(m,-1) #改变维度为m行、d列 （-1表示列数自动计算，d= a*b /m ）
numpy.arange(n).reshape(-1,m) #改变维度为d行、m列 （-1表示行数自动计算，d= a*b /m ）

-1Роль d здесь: автоматически вычислить d: d = количество всех элементов в массиве или матрице/c, d должно быть целым числом, иначе будет сообщено об ошибке) (reshape(-1, m) означает, что количество столбцов фиксировано, а количество строк необходимо рассчитать)

Файл test.txt выглядит следующим образом:

0.000000000000000000e+00 1.000000000000000000e+00 2.000000000000000000e+00 3.000000000000000000e+00 4.000000000000000000e+00
5.000000000000000000e+00 6.000000000000000000e+00 7.000000000000000000e+00 8.000000000000000000e+00 9.000000000000000000e+00

[Пример] Запись и чтение файлов CSV.

import numpy as np

outfile = r'test.csv'
x = np.arange(0, 10, 0.5).reshape(4, -1)
np.savetxt(outfile, x, fmt='%.3f', delimiter=',')
y = np.loadtxt(outfile, delimiter=',')
print(y)
# [[0.  0.5 1.  1.5 2. ]
#  [2.5 3.  3.5 4.  4.5]
#  [5.  5.5 6.  6.5 7. ]
#  [7.5 8.  8.5 9.  9.5]]

Файл test.csv выглядит следующим образом:

0.000,0.500,1.000,1.500,2.000
2.500,3.000,3.500,4.000,4.500
5.000,5.500,6.000,6.500,7.000
7.500,8.000,8.500,9.000,9.500

genfromtxt()Он ориентирован на обработку структурированных массивов и отсутствующих данных.

  • numpy.genfromtxt(fname, dtype=float, comments='#', delimiter=None, skip_header=0, skip_footer=0, converters=None, missing_values=None, filling_values=None, usecols=None, names=None, excludelist=None, deletechars=''.join(sorted(NameValidator.defaultdeletechars)), replace_space='_', autostrip=False, case_sensitive=True, defaultfmt="f%i", unpack=None, usemask=False, loose=True, invalid_raise=True, max_rows=None, encoding='bytes') Load data from a text file, with missing values handled as specified.
    • имена: если установлено значение True, программа будет использовать первую строку в качестве имен столбцов.

Файл data.csv выглядит следующим образом:

id,value1,value2,value3
1,123,1.4,23
2,110,0.5,18
3,164,2.1,19

【пример】

import numpy as np

outfile = r'data.csv'
x = np.loadtxt(outfile, delimiter=',', skiprows=1)
print(x)
# [[  1.  123.    1.4  23. ]
#  [  2.  110.    0.5  18. ]
#  [  3.  164.    2.1  19. ]]

x = np.loadtxt(outfile, delimiter=',', skiprows=1, usecols=(1, 2))
print(x)
# [[123.    1.4]
#  [110.    0.5]
#  [164.    2.1]]

val1, val2 = np.loadtxt(outfile, delimiter=',', skiprows=1, usecols=(1, 2), unpack=True)
print(val1)  # [123. 110. 164.]
print(val2)  # [1.4 0.5 2.1]

【пример】

import numpy as np

outfile = r'data.csv'
x = np.genfromtxt(outfile, delimiter=',', names=True)
print(x)
# [(1., 123., 1.4, 23.) (2., 110., 0.5, 18.) (3., 164., 2.1, 19.)]

print(type(x))  
# <class 'numpy.ndarray'>

print(x.dtype)
# [('id', '<f8'), ('value1', '<f8'), ('value2', '<f8'), ('value3', '<f8')]

print(x['id'])  # [1. 2. 3.]
print(x['value1'])  # [123. 110. 164.]
print(x['value2'])  # [1.4 0.5 2.1]
print(x['value3'])  # [23. 18. 19.]

файл data1.csv

id,value1,value2,value3
1,123,1.4,23
2,110,,18
3,,2.1,19

【пример】

import numpy as np

outfile = r'data1.csv'
x = np.genfromtxt(outfile, delimiter=',', names=True)
print(x)
# [(1., 123., 1.4, 23.) (2., 110., nan, 18.) (3.,  nan, 2.1, 19.)]

print(type(x))  
# <class 'numpy.ndarray'>

print(x.dtype)
# [('id', '<f8'), ('value1', '<f8'), ('value2', '<f8'), ('value3', '<f8')]

print(x['id'])  # [1. 2. 3.]
print(x['value1'])  # [123. 110.  nan]
print(x['value2'])  # [1.4 nan 2.1]
print(x['value3'])  # [23. 18. 19.]

Параметры форматирования текста

  • numpy.set_printoptions(precision=None,threshold=None, edgeitems=None,linewidth=None, suppress=None, nanstr=None, infstr=None,formatter=None, sign=None, floatmode=None, **kwarg) Set printing options.
    • precision: установка точности с плавающей запятой, управление количеством десятичных знаков, по умолчанию 8.
    • threshold: Отображается примерно. Если значение превышает это значение, оно будет выражено в виде «…». По умолчанию 1000.
    • linewidth: Используется для определения количества символов в каждой строке для вставки новой строки, по умолчанию 75.
    • suppress:когдаsuppress=True, указывая на то, что десятичные дроби не нужно выводить в экспоненциальном представлении, значение по умолчанию — False.
    • nanstr: строковое представление нечислового числа с плавающей запятой, по умолчаниюnan.
    • infstr: строковое представление бесконечности с плавающей запятой, по умолчаниюinf.

These options determine the way floating point numbers, arrays and other NumPy objects are displayed.

【пример】

import numpy as np

np.set_printoptions(precision=4)
x = np.array([1.123456789])
print(x)  # [1.1235]

np.set_printoptions(threshold=20)
x = np.arange(50)
print(x)  # [ 0  1  2 ... 47 48 49]

np.set_printoptions(threshold=np.iinfo(np.int).max)
print(x)
# [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
#  24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
#  48 49]

eps = np.finfo(float).eps
x = np.arange(4.)
x = x ** 2 - (x + eps) ** 2
print(x)  
# [-4.9304e-32 -4.4409e-16  0.0000e+00  0.0000e+00]
np.set_printoptions(suppress=True)
print(x)  # [-0. -0.  0.  0.]

x = np.linspace(0, 10, 10)
print(x)
# [ 0.      1.1111  2.2222  3.3333  4.4444  5.5556  6.6667  7.7778  8.8889
#  10.    ]
np.set_printoptions(precision=2, suppress=True, threshold=5)
print(x)  # [ 0.    1.11  2.22 ...  7.78  8.89 10.  ]
  • numpy.get_printoptions() Return the current print options.

【пример】

import numpy as np

x = np.get_printoptions()
print(x)
# {
# 'edgeitems': 3, 
# 'threshold': 1000, 
# 'floatmode': 'maxprec', 
# 'precision': 8, 
# 'suppress': False, 
# 'linewidth': 75, 
# 'nanstr': 'nan', 
# 'infstr': 'inf', 
# 'sign': '-', 
# 'formatter': None, 
# 'legacy': False
# }

Использованная литература:Обучение команды сообщества DataWhale

Категории