The Quest for Libarchive/BSDTar
#11
RE: The Quest for Libarchive/BSDTar
Try compiling xz with option '-O1'

The INSTALL text file explicitly mentions IRIX MIPSPro miscompiling xz code:
Code:
MIPSpro 7.4.4m has been reported to produce broken code if using
   the -O2 optimization flag ("make check" fails). Using -O1 should
   work.

UPDATE: I have reproduced the error using '-O2' while running the test suite:
Code:
/local/frank/xz-5.2.4/src/xz/.libs/xz: ./files/good-1-delta-lzma2.tiff.xz: Compressed data is corrupt
Good file failed: ./files/good-1-delta-lzma2.tiff.xz
FAIL: test_files.sh
test_compress.sh:
  generated_abctest_xz: 126908 Memory fault
Compressing failed: -1 compress_generated_abc
FAIL: test_compress.sh
/local/frank/xz-5.2.4/src/xz/.libs/xz: ./files/good-1-lzma2-1.xz: Compressed data is corrupt
xzdiff with changes exited with status 2 != 1
FAIL: test_scripts.sh
(This post was last modified: 09-04-2018, 12:57 PM by dexter1. Edit Reason: compile test update )
dexter1
Global Moderator
******

Posts: 166
Threads: 9
Joined: May 2018
Find Reply
09-04-2018, 06:21 AM
#12
RE: The Quest for Libarchive/BSDTar
(09-04-2018, 02:38 AM)Raion Wrote:  .. can you push that patch upstream for libarchive?

I can certainly give it a try.

(09-04-2018, 02:38 AM)Raion Wrote:  XZ, when compiled with mipspro, fails out with this:

https://pastebin.com/SEFtbwBX

Probably doesn't help but FYI a make check of xz-5.2.4 passes all tests for me with MIPSPro.

Config options here (Simply -O1):

https://github.com/danielhams/didbs/blob...onfigureit

Maybe you've got the -O level a bit too high for it?
mrthinlysliced
Octane

Posts: 76
Threads: 5
Joined: May 2018
Find Reply
09-04-2018, 06:45 AM
#13
RE: The Quest for Libarchive/BSDTar
sorry I'm a bit late to the party, I was trying to figure out how to actually make a patch file, and y'all seem to have moved way ahead of me Smile

regarding libarchive, I was sorting out why bsdtar didn't support -xz and I was trying to figure out why the test suite was failing.  I sort of left it on the back burner and was going to circle back to it, here is sort of where I was sitting:


Code:
========================================
  libarchive 3.3.2: ./test-suite.log
========================================

# TOTAL: 4
# PASS:  2
# SKIP:  0
# XFAIL: 0
# FAIL:  2
# XPASS: 0
# ERROR: 0

.. contents:: :depth: 2

FAIL: libarchive_test
=====================


If tests fail or crash, details will be in:
  /tmp/libarchive_test.2018-08-11T03.37.22-000

Reference files will be read from: /usr/people/gijoe77/dev/libarchive/libarchive-3.3.2/libarchive/test
Exercising: libarchive 3.3.2 zlib/1.2.5 bz2lib/1.0.6
 0: test_acl_nfs4                                                   ok
 1: test_acl_pax_posix1e                                            ok
 2: test_acl_pax_nfs4                                               ok
 3: test_acl_platform_nfs4                                          ok (S)
 4: test_acl_platform_posix1e_restore                               ok (S)
 5: test_acl_platform_posix1e_read                                  ok (S)
 6: test_acl_posix1e                                                ok
 7: test_acl_from_text                                              ok
 8: test_acl_to_text                                                ok
 9: test_archive_api_feature                                        ok
10: test_archive_clear_error                                        ok
11: test_archive_cmdline                                            ok
12: test_archive_md5                                                ok (S)
13: test_archive_rmd160                                             ok (S)
14: test_archive_sha1                                               ok (S)
15: test_archive_sha256                                             ok (S)
16: test_archive_sha384                                             ok (S)
17: test_archive_sha512                                             ok (S)
18: test_archive_getdate                                            ok
19: test_archive_match_owner                                        ok
20: test_archive_match_path                                         ok
21: test_archive_match_time                                         ok
22: test_archive_pathmatch                                          ok
23: test_archive_read_add_passphrase                                ok
24: test_archive_read_add_passphrase_incorrect_sequance             ok
25: test_archive_read_add_passphrase_single                         ok
26: test_archive_read_add_passphrase_multiple                       ok
27: test_archive_read_add_passphrase_set_callback1                  ok
28: test_archive_read_add_passphrase_set_callback2                  ok
29: test_archive_read_add_passphrase_set_callback3                  ok
30: test_archive_read_add_passphrase_multiple_with_callback         ok
31: test_archive_read_add_passphrase_multiple_with_callback2        ok
32: test_archive_read_close_twice                                   ok
33: test_archive_read_close_twice_open_fd                           ok
34: test_archive_read_close_twice_open_filename                     ok
35: test_archive_read_multiple_data_objects                         ok
36: test_archive_read_next_header_empty                             ok
37: test_archive_read_next_header_raw                               ok
38: test_archive_read_open2                                         ok
39: test_archive_read_set_filter_option                             ok
40: test_archive_read_set_format_option                             ok
41: test_archive_read_set_option                                    ok
42: test_archive_read_set_options                                   ok
43: test_archive_read_support                                       ok
44: test_archive_set_error                                          ok
45: test_archive_string                                             ok
46: test_archive_string_sort                                        ok
47: test_archive_string_conversion                                  ok (S)
48: test_archive_write_add_filter_by_name_b64encode                 ok
49: test_archive_write_add_filter_by_name_bzip2                     ok
50: test_archive_write_add_filter_by_name_compress                  ok
51: test_archive_write_add_filter_by_name_grzip                     ok (S)
52: test_archive_write_add_filter_by_name_gzip                      ok
53: test_archive_write_add_filter_by_name_lrzip                     ok (S)
54: test_archive_write_add_filter_by_name_lz4                       ok (S)
55: test_archive_write_add_filter_by_name_lzip                      ok (S)
56: test_archive_write_add_filter_by_name_lzma                      ok (S)
57: test_archive_write_add_filter_by_name_lzop                      ok (S)
58: test_archive_write_add_filter_by_name_uuencode                  ok
59: test_archive_write_add_filter_by_name_xz                        ok (S)
60: test_archive_write_set_filter_option                            ok
61: test_archive_write_set_format_by_name_7zip                      ok
62: test_archive_write_set_format_by_name_ar                        ok
63: test_archive_write_set_format_by_name_arbsd                     ok
64: test_archive_write_set_format_by_name_argnu                     ok
65: test_archive_write_set_format_by_name_arsvr4                    ok
66: test_archive_write_set_format_by_name_bsdtar                    ok
67: test_archive_write_set_format_by_name_cd9660                    ok
68: test_archive_write_set_format_by_name_cpio                      ok
69: test_archive_write_set_format_by_name_gnutar                    ok
70: test_archive_write_set_format_by_name_iso                       ok
71: test_archive_write_set_format_by_name_iso9660                   ok
72: test_archive_write_set_format_by_name_mtree                     ok
73: test_archive_write_set_format_by_name_mtree_classic             ok
74: test_archive_write_set_format_by_name_newc                      ok
75: test_archive_write_set_format_by_name_odc                       ok
76: test_archive_write_set_format_by_name_oldtar                    ok
77: test_archive_write_set_format_by_name_pax                       ok
78: test_archive_write_set_format_by_name_paxr                      ok
79: test_archive_write_set_format_by_name_posix                     ok
80: test_archive_write_set_format_by_name_rpax                      ok
81: test_archive_write_set_format_by_name_shar                      ok
82: test_archive_write_set_format_by_name_shardump                  ok
83: test_archive_write_set_format_by_name_ustar                     ok
84: test_archive_write_set_format_by_name_v7tar                     ok
85: test_archive_write_set_format_by_name_v7                        ok
86: test_archive_write_set_format_by_name_warc                      ok
87: test_archive_write_set_format_by_name_xar                       ok (S)
88: test_archive_write_set_format_by_name_zip                       ok
89: test_archive_write_set_format_filter_by_ext_7zip                ok
90: test_archive_write_set_format_filter_by_ext_zip                 ok
91: test_archive_write_set_format_filter_by_ext_jar                 ok
92: test_archive_write_set_format_filter_by_ext_a                   ok
93: test_archive_write_set_format_filter_by_ext_ar                  ok
94: test_archive_write_set_format_filter_by_ext_cpio                ok
95: test_archive_write_set_format_filter_by_ext_iso                 ok
96: test_archive_write_set_format_filter_by_ext_tar                 ok
97: test_archive_write_set_format_filter_by_ext_tar_gz              ok
98: test_archive_write_set_format_filter_by_ext_tar_bz2             ok
99: test_archive_write_set_format_filter_by_ext_tar_xz              ok (S)
100: test_archive_write_set_format_filter_by_no_ext_def_zip          ok
101: test_archive_write_set_format_filter_by_ext_tar_bz2_def_zip     ok
102: test_archive_write_set_format_option                            ok
103: test_archive_write_set_option                                   ok
104: test_archive_write_set_options                                  ok
105: test_archive_write_set_passphrase                               ok
106: test_archive_write_set_passphrase_callback                      ok
107: test_bad_fd                                                     ok
108: test_compat_bzip2                                               ok
109: test_compat_cpio                                                ok
110: test_compat_gtar                                                ok
111: test_compat_gzip                                                ok
112: test_compat_lz4                                                 ok (S)
113: test_compat_lzip                                                ok (S)
114: test_compat_lzma                                                ok (S)
115: test_compat_lzop                                                ok (S)
116: test_compat_mac                                                 ok
117: test_compat_pax_libarchive_2x                                   ok (S)
118: test_compat_perl_archive_tar                                    ok
119: test_compat_plexus_archiver_tar                                 ok
120: test_compat_solaris_pax_sparse                                  ok
121: test_compat_solaris_tar_acl                                     ok
122: test_compat_star_acl_posix1e                                    ok
123: test_compat_star_acl_nfs4                                       ok
124: test_compat_tar_hardlink                                        ok
125: test_compat_uudecode                                            ok
126: test_compat_uudecode_large                                      ok
127: test_compat_xz                                                  ok (S)
128: test_compat_zip_1                                               ok
129: test_compat_zip_2                                               ok
130: test_compat_zip_3                                               ok
131: test_compat_zip_4                                               ok
132: test_compat_zip_5                                               ok
133: test_compat_zip_6                                               ok
134: test_compat_zip_7                                               ok
135: test_empty_write                                                ok
136: test_entry                                                      ok (S)
137: test_entry_strmode                                              ok
138: test_extattr_freebsd                                            ok (S)
139: test_filter_count                                               ok
140: test_fuzz_ar                                                    ok
141: test_fuzz_cab                                                   ok
142: test_fuzz_cpio                                                  ok
143: test_fuzz_iso9660                                               ok
144: test_fuzz_lzh                                                   ok
145: test_fuzz_mtree                                                 ok
146: test_fuzz_rar                                                   ok
147: test_fuzz_tar                                                   ok
148: test_fuzz_zip                                                   ok
149: test_gnutar_filename_encoding_UTF8_CP866                        ok (S)
150: test_gnutar_filename_encoding_KOI8R_UTF8                        ok (S)
151: test_gnutar_filename_encoding_KOI8R_CP866                       ok (S)
152: test_gnutar_filename_encoding_CP1251_UTF8                       ok (S)
153: test_gnutar_filename_encoding_ru_RU_CP1251                      ok (S)
154: test_gnutar_filename_encoding_Russian_Russia                    ok (S)
155: test_gnutar_filename_encoding_EUCJP_UTF8                        ok (S)
156: test_gnutar_filename_encoding_EUCJP_CP932                       ok (S)
157: test_gnutar_filename_encoding_CP932_UTF8                        ok (S)
158: test_link_resolver                                              ok
159: test_open_failure                                               ok
160: test_open_fd                                                    ok
161: test_open_file                                                  ok
162: test_open_filename                                              ok
163: test_pax_filename_encoding_KOI8R                                ok (S)
164: test_pax_filename_encoding_CP1251                               ok (S)
165: test_pax_filename_encoding_EUCJP                                ok (S)
166: test_pax_filename_encoding_CP932                                ok (S)
167: test_pax_filename_encoding_KOI8R_BINARY                         ok (S)
168: test_pax_filename_encoding_KOI8R_CP1251                         ok (S)
169: test_pax_filename_encoding                                      ok (S)
170: test_read_data_large                                            ok
171: test_read_disk                                                  FAIL
172: test_read_disk_directory_traversals                             FAIL
173: test_read_disk_entry_from_file                                  ok
174: test_read_extract                                               ok
175: test_read_file_nonexistent                                      ok
176: test_read_filter_compress_truncated                             ok
177: test_read_filter_compress_empty2                                ok
178: test_read_filter_compress_invalid                               ok
179: test_read_filter_grzip                                          ok (S)
180: test_read_filter_lrzip                                          ok (S)
181: test_read_filter_lzop                                           ok (S)
182: test_read_filter_lzop_multiple_parts                            ok (S)
183: test_read_filter_program                                        ok
184: test_read_filter_program_signature                              ok
185: test_read_filter_uudecode                                       ok
186: test_read_filter_uudecode_base64                                ok
187: test_read_format_7zip                                           ok (S)
188: test_read_format_7zip_bzip2                                     ok
189: test_read_format_7zip_from_fd                                   ok
190: test_read_format_7zip_copy                                      ok
191: test_read_format_7zip_deflate                                   ok
192: test_read_format_7zip_empty                                     ok
193: test_read_format_7zip_lzma1                                     ok (S)
194: test_read_format_7zip_lzma2                                     ok (S)
195: test_read_format_7zip_ppmd                                      ok
196: test_read_format_7zip_encryption_data                           ok
197: test_read_format_7zip_encryption_header                         ok
198: test_read_format_7zip_encryption_partially                      ok
199: test_read_format_7zip_malformed                                 ok
200: test_read_format_ar                                             ok
201: test_read_format_cab                                            ok
202: test_read_format_cab_filename                                   ok (S)
203: test_read_format_cpio_afio                                      ok
204: test_read_format_cpio_bin                                       ok
205: test_read_format_cpio_bin_Z                                     ok
206: test_read_format_cpio_bin_be                                    ok
207: test_read_format_cpio_bin_bz2                                   ok
208: test_read_format_cpio_bin_gz                                    ok
209: test_read_format_cpio_bin_le                                    ok
210: test_read_format_cpio_bin_lzip                                  ok (S)
211: test_read_format_cpio_bin_lzma                                  ok (S)
212: test_read_format_cpio_bin_xz                                    ok (S)
213: test_read_format_cpio_filename_eucJP_UTF8                       ok (S)
214: test_read_format_cpio_filename_UTF8_eucJP                       ok (S)
215: test_read_format_cpio_filename_UTF8_UTF8_jp                     ok (S)
216: test_read_format_cpio_filename_CP866_KOI8R                      ok (S)
217: test_read_format_cpio_filename_CP866_UTF8                       ok (S)
218: test_read_format_cpio_filename_KOI8R_CP866                      ok (S)
219: test_read_format_cpio_filename_KOI8R_UTF8                       ok (S)
220: test_read_format_cpio_filename_UTF8_KOI8R                       ok (S)
221: test_read_format_cpio_filename_UTF8_CP866                       ok (S)
222: test_read_format_cpio_filename_UTF8_UTF8_ru                     ok (S)
223: test_read_format_cpio_filename_eucJP_CP932                      ok (S)
224: test_read_format_cpio_filename_UTF8_CP932                       ok (S)
225: test_read_format_cpio_filename_CP866_CP1251                     ok (S)
226: test_read_format_cpio_filename_CP866_CP1251_win                 ok (S)
227: test_read_format_cpio_filename_KOI8R_CP1251                     ok (S)
228: test_read_format_cpio_filename_UTF8_CP1251                      ok (S)
229: test_read_format_cpio_odc                                       ok
230: test_read_format_cpio_svr4_bzip2_rpm                            ok
231: test_read_format_cpio_svr4_gzip                                 ok
232: test_read_format_cpio_svr4_gzip_rpm                             ok
233: test_read_format_cpio_svr4c_Z                                   ok
234: test_read_format_empty                                          ok
235: test_read_format_gtar_filename_eucJP_UTF8                       ok (S)
236: test_read_format_gtar_filename_CP866_KOI8R                      ok (S)
237: test_read_format_gtar_filename_CP866_UTF8                       ok (S)
238: test_read_format_gtar_filename_KOI8R_CP866                      ok (S)
239: test_read_format_gtar_filename_KOI8R_UTF8                       ok (S)
240: test_read_format_gtar_filename_eucJP_CP932                      ok (S)
241: test_read_format_gtar_filename_CP866_CP1251                     ok (S)
242: test_read_format_gtar_filename_CP866_CP1251_win                 ok (S)
243: test_read_format_gtar_filename_KOI8R_CP1251                     ok (S)
244: test_read_format_gtar_gz                                        ok
245: test_read_format_gtar_lzma                                      ok (S)
246: test_read_format_gtar_sparse                                    ok
247: test_read_format_gtar_sparse_skip_entry                         ok
248: test_read_format_iso_Z                                          ok
249: test_read_format_iso_multi_extent                               ok
250: test_read_format_iso_xorriso                                    ok
251: test_read_format_isojoliet_bz2                                  ok
252: test_read_format_isojoliet_long                                 ok
253: test_read_format_isojoliet_rr                                   ok
254: test_read_format_isojoliet_versioned                            ok
255: test_read_format_isorr_bz2                                      ok
256: test_read_format_isorr_ce                                       ok
257: test_read_format_isorr_new_bz2                                  ok
258: test_read_format_isorr_rr_moved                                 ok
259: test_read_format_isozisofs_bz2                                  ok
260: test_read_format_lha                                            ok
261: test_read_format_lha_bugfix_0                                   ok
262: test_read_format_lha_filename                                   ok (S)
263: test_read_format_mtree                                          ok
264: test_read_format_mtree_filenames_only                           ok
265: test_read_format_mtree_nochange                                 ok
266: test_read_format_mtree_nomagic_v1_form                          ok
267: test_read_format_mtree_nomagic_v2_form                          ok
268: test_read_format_mtree_nomagic_v2_netbsd_form                   ok
269: test_read_format_mtree_nonexistent_contents_file                ok
270: test_read_format_mtree_crash747                                 ok
271: test_read_format_pax_bz2                                        ok
272: test_read_format_rar_basic                                      ok
273: test_read_format_rar_subblock                                   ok
274: test_read_format_rar_noeof                                      ok
275: test_read_format_rar_unicode_UTF8                               ok (S)
276: test_read_format_rar_unicode_CP932                              ok (S)
277: test_read_format_rar_compress_normal                            ok
278: test_read_format_rar_multi_lzss_blocks                          ok
279: test_read_format_rar_compress_best                              ok
280: test_read_format_rar_ppmd_lzss_conversion                       ok
281: test_read_format_rar_binary                                     FAIL
282: test_read_format_rar_windows                                    ok
283: test_read_format_rar_multivolume                                ok
284: test_read_format_rar_multivolume_skip                           ok
285: test_read_format_rar_sfx                                        ok
286: test_read_format_rar_multivolume_stored_file                    ok
287: test_read_format_rar_multivolume_stored_file_skip               ok
288: test_read_format_rar_multivolume_seek_data                      ok
289: test_read_format_rar_multivolume_seek_multiple_files            ok
290: test_read_format_rar_multivolume_uncompressed_files             ok
291: test_read_format_rar_encryption_data                            ok
292: test_read_format_rar_encryption_header                          ok
293: test_read_format_rar_encryption_partially                       ok
294: test_read_format_rar_invalid1                                   ok
295: test_read_format_raw                                            ok
296: test_read_format_tar                                            ok
297: test_read_format_tar_concatenated                               ok
298: test_read_format_tar_empty_filename                             ok
299: test_read_format_tar_empty_pax                                  ok
300: test_read_format_tar_filename                                   ok (S)
301: test_read_format_tbz                                            ok
302: test_read_format_tgz                                            ok
303: test_read_format_tlz                                            ok (S)
304: test_read_format_txz                                            ok (S)
305: test_read_format_tz                                             ok
306: test_read_format_ustar_filename                                 ok (S)
307: test_read_format_warc                                           FAIL
308: test_read_format_xar                                            ok (S)
309: test_read_format_zip                                            ok
310: test_read_format_zip_comment_stored                             ok
311: test_read_format_zip_encryption_data                            ok
312: test_read_format_zip_encryption_header                          ok
313: test_read_format_zip_encryption_partially                       ok
314: test_read_format_zip_filename_CP932_eucJP                       ok (S)
315: test_read_format_zip_filename_CP932_UTF8                        ok (S)
316: test_read_format_zip_filename_UTF8_eucJP                        ok (S)
317: test_read_format_zip_filename_UTF8_UTF8                         ok (S)
318: test_read_format_zip_filename_CP866_KOI8R                       ok (S)
319: test_read_format_zip_filename_CP866_UTF8                        ok (S)
320: test_read_format_zip_filename_KOI8R_CP866                       ok (S)
321: test_read_format_zip_filename_KOI8R_UTF8                        ok (S)
322: test_read_format_zip_filename_UTF8_KOI8R                        ok (S)
323: test_read_format_zip_filename_UTF8_CP866                        ok (S)
324: test_read_format_zip_filename_UTF8_UTF8_ru                      ok (S)
325: test_read_format_zip_filename_CP932_CP932                       ok (S)
326: test_read_format_zip_filename_UTF8_CP932                        ok (S)
327: test_read_format_zip_filename_CP866_CP1251                      ok (S)
328: test_read_format_zip_filename_CP866_CP1251_win                  ok (S)
329: test_read_format_zip_filename_KOI8R_CP1251                      ok (S)
330: test_read_format_zip_filename_UTF8_CP1251                       ok (S)
331: test_read_format_zip_filename_KOI8R_UTF8_2                      ok (S)
332: test_read_format_zip_high_compression                           ok
333: test_read_format_zip_high_compression2                          ok
334: test_read_format_zip_jar                                        ok
335: test_read_format_zip_mac_metadata                               ok
336: test_read_format_zip_malformed                                  ok
337: test_read_format_zip_msdos                                      ok
338: test_read_format_zip_nested                                     ok
339: test_read_format_zip_nofiletype                                 ok
340: test_read_format_zip_padded1                                    ok
341: test_read_format_zip_padded2                                    ok
342: test_read_format_zip_padded3                                    ok
343: test_read_format_zip_sfx                                        ok
344: test_read_format_zip_traditional_encryption_data                ok
345: test_read_format_zip_winzip_aes128                              ok (S)
346: test_read_format_zip_winzip_aes256                              ok (S)
347: test_read_format_zip_winzip_aes256_stored                       ok (S)
348: test_read_format_zip_winzip_aes256_large                        ok (S)
349: test_read_format_zip_with_invalid_traditional_eocd              ok
350: test_read_format_zip_zip64a                                     ok
351: test_read_format_zip_zip64b                                     ok
352: test_read_large                                                 ok
353: test_schily_xattr_pax                                           ok
354: test_read_pax_truncated                                         ok
355: test_read_position                                              ok
356: test_read_set_format                                            ok
357: test_read_set_wrong_format                                      ok
358: test_read_append_filter                                         ok
359: test_read_append_wrong_filter                                   ok
360: test_read_append_filter_program                                 ok
361: test_read_append_filter_wrong_program                           ok
362: test_read_too_many_filters                                      ok
363: test_read_truncated                                             ok
364: test_read_truncated_filter_bzip2                                ok
365: test_read_truncated_filter_compress                             ok
366: test_read_truncated_filter_gzip                                 ok
367: test_read_truncated_filter_lzip                                 ok (S)
368: test_read_truncated_filter_lzma                                 ok (S)
369: test_read_truncated_filter_lzop                                 ok (S)
370: test_read_truncated_filter_xz                                   ok (S)
371: test_sparse_basic                                               ok (S)
372: test_fully_sparse_files                                         ok (S)
373: test_tar_filenames                                              ok
374: test_tar_large                                                  ok
375: test_ustar_filename_encoding_UTF8_CP866                         ok (S)
376: test_ustar_filename_encoding_KOI8R_UTF8                         ok (S)
377: test_ustar_filename_encoding_KOI8R_CP866                        ok (S)
378: test_ustar_filename_encoding_CP1251_UTF8                        ok (S)
379: test_ustar_filename_encoding_ru_RU_CP1251                       ok (S)
380: test_ustar_filename_encoding_Russian_Russia                     ok (S)
381: test_ustar_filename_encoding_EUCJP_UTF8                         ok (S)
382: test_ustar_filename_encoding_EUCJP_CP932                        ok (S)
383: test_ustar_filename_encoding_CP932_UTF8                         ok (S)
384: test_ustar_filenames                                            ok
385: test_warn_missing_hardlink_target                               ok
386: test_write_disk                                                 ok
387: test_write_disk_appledouble                                     ok (S)
388: test_write_disk_failures                                        ok (S)
389: test_write_disk_hardlink                                        ok
390: test_write_disk_hfs_compression                                 ok (S)
391: test_write_disk_lookup                                          ok
392: test_write_disk_mac_metadata                                    ok (S)
393: test_write_disk_no_hfs_compression                              ok (S)
394: test_write_disk_perms                                           Running as root: Can't test SGID failures.
Running as root: Can't test setuid failures.
ok
395: test_write_disk_secure                                          ok
396: test_write_disk_secure744                                       Path too long (1036/1024).
ok
397: test_write_disk_secure745                                       ok
398: test_write_disk_secure746a                                      ok
399: test_write_disk_secure746b                                      ok
400: test_write_disk_sparse                                          ok
401: test_write_disk_symlink                                         ok
402: test_write_disk_times                                           ok (S)
403: test_write_filter_b64encode                                     ok
404: test_write_filter_bzip2                                         ok
405: test_write_filter_compress                                      ok
406: test_write_filter_gzip                                          ok
407: test_write_filter_gzip_timestamp                                ok
408: test_write_filter_lrzip                                         ok (S)
409: test_write_filter_lz4                                           ok (S)
410: test_write_filter_lz4_disable_stream_checksum                   ok (S)
411: test_write_filter_lz4_enable_block_checksum                     ok (S)
412: test_write_filter_lz4_block_size_4                              ok (S)
413: test_write_filter_lz4_block_size_5                              ok (S)
414: test_write_filter_lz4_block_size_6                              ok (S)
415: test_write_filter_lz4_block_dependence                          ok (S)
416: test_write_filter_lzip                                          ok (S)
417: test_write_filter_lzma                                          ok (S)
418: test_write_filter_lzop                                          ok (S)
419: test_write_filter_program                                       ok
420: test_write_filter_uuencode                                      ok
421: test_write_filter_xz                                            ok (S)
422: test_write_format_7zip                                          ok
423: test_write_format_7zip_basic_bzip2                              ok
424: test_write_format_7zip_basic_copy                               ok
425: test_write_format_7zip_basic_deflate                            ok
426: test_write_format_7zip_basic_lzma1                              ok (S)
427: test_write_format_7zip_basic_lzma2                              ok (S)
428: test_write_format_7zip_basic_ppmd                               ok
429: test_write_format_7zip_empty_archive                            ok
430: test_write_format_7zip_empty_files                              ok
431: test_write_format_7zip_large_bzip2                              ok
432: test_write_format_7zip_large_copy                               ok
433: test_write_format_7zip_large_deflate                            ok
434: test_write_format_7zip_large_lzma1                              ok (S)
435: test_write_format_7zip_large_lzma2                              ok (S)
436: test_write_format_7zip_large_ppmd                               ok
437: test_write_format_ar                                            ok
438: test_write_format_cpio                                          ok
439: test_write_format_cpio_empty                                    ok
440: test_write_format_cpio_newc                                     ok
441: test_write_format_cpio_odc                                      ok
442: test_write_format_gnutar                                        ok
443: test_write_format_gnutar_filenames                              ok
444: test_write_format_gnutar_linknames                              ok
445: test_write_format_iso9660                                       ok
446: test_write_format_iso9660_boot                                  ok
447: test_write_format_iso9660_empty                                 ok
448: test_write_format_iso9660_filename                              ok
449: test_write_format_iso9660_zisofs                                ok
450: test_write_format_mtree                                         ok
451: test_write_format_mtree_no_leading_dotslash                     ok
452: test_write_format_mtree_absolute_path                           ok
453: test_write_format_mtree_classic                                 ok
454: test_write_format_mtree_classic_indent                          ok
455: test_write_format_mtree_fflags                                  ok (S)
456: test_write_format_mtree_no_separator                            ok
457: test_write_format_mtree_quoted_filename                         ok
458: test_write_format_pax                                           ok
459: test_write_format_raw                                           ok
460: test_write_format_raw_b64                                       ok
461: test_write_format_shar_empty                                    ok
462: test_write_format_tar                                           ok
463: test_write_format_tar_empty                                     ok
464: test_write_format_tar_sparse                                    ok
465: test_write_format_tar_ustar                                     ok
466: test_write_format_tar_v7tar                                     ok
467: test_write_format_warc                                          ok
468: test_write_format_warc_empty                                    ok
469: test_write_format_xar                                           ok (S)
470: test_write_format_xar_empty                                     ok (S)
471: test_write_format_zip                                           ok
472: test_write_format_zip64                                         ok
473: test_write_format_zip_traditional_pkware_encryption             ok
474: test_write_format_zip_winzip_aes128_encryption                  ok (S)
475: test_write_format_zip_winzip_aes256_encryption                  ok (S)
476: test_write_format_zip_compression_store                         ok
477: test_write_format_zip_empty                                     ok
478: test_write_format_zip_empty_zip64                               ok
479: test_write_format_zip_file                                      ok
480: test_write_format_zip_file_zip64                                ok
481: test_write_format_zip_large                                     ok
482: test_write_format_zip_zip64_oversize                            ok
483: test_write_open_memory                                          ok
484: test_write_read_format_zip                                      ok
485: test_write_read_format_zip_improved_streaming                   ok
486: test_write_read_format_zip64                                    ok
487: test_write_read_format_zip64_improved_streaming                 ok
488: test_xattr_platform                                             ok (S)
489: test_zip_filename_encoding_UTF8                                 ok (S)
490: test_zip_filename_encoding_KOI8R                                ok (S)
491: test_zip_filename_encoding_ru_RU_CP1251                         ok (S)
492: test_zip_filename_encoding_Russian_Russia                       ok (S)
493: test_zip_filename_encoding_EUCJP                                ok (S)
494: test_zip_filename_encoding_CP932                                ok (S)

Totals:
 Tests run:              495
 Tests failed:             4
 Assertions checked:28739252
 Assertions failed:        8
 Skips reported:         217

Failing tests:
 171: test_read_disk (1 failures)
 172: test_read_disk_directory_traversals (4 failures)
 281: test_read_format_rar_binary (1 failures)
 307: test_read_format_warc (2 failures)

Details for failing tests: /tmp/libarchive_test.2018-08-11T03.37.22-000

FAIL libarchive_test (exit status: 1)

FAIL: bsdtar_test
=================


If tests fail or crash, details will be in:
  /tmp/bsdtar_test.2018-08-11T03.41.30-000

Reference files will be read from: /usr/people/gijoe77/dev/libarchive/libarchive-3.3.2/tar/test
Running tests on: "/usr/people/gijoe77/dev/libarchive/libarchive-3.3.2/bsdtar"
Exercising: bsdtar 3.3.2 - libarchive 3.3.2 zlib/1.2.5 bz2lib/1.0.6

 0: test_0                                                          ok
 1: test_basic                                                      ok
 2: test_copy                                                       ok
 3: test_empty_mtree                                                ok
 4: test_extract_tar_Z                                              ok
 5: test_extract_tar_bz2                                            ok
 6: test_extract_tar_grz                                            ok (S)
 7: test_extract_tar_gz                                             ok
 8: test_extract_tar_lrz                                            ok (S)
 9: test_extract_tar_lz                                             ok (S)
10: test_extract_tar_lz4                                            ok (S)
11: test_extract_tar_lzma                                           ok
12: test_extract_tar_lzo                                            ok (S)
13: test_extract_tar_xz                                             ok
14: test_format_newc                                                ok
15: test_help                                                       ok
16: test_leading_slash                                              ok
17: test_missing_file                                               ok
18: test_option_C_upper                                             ok
19: test_option_H_upper                                             ok
20: test_option_L_upper                                             ok
21: test_option_O_upper                                             ok
22: test_option_T_upper                                             ok
23: test_option_U_upper                                             ok
24: test_option_X_upper                                             ok
25: test_option_a                                                   ok
26: test_option_acls                                                ok (S)
27: test_option_b                                                   ok
28: test_option_b64encode                                           ok
29: test_option_exclude                                             ok
30: test_option_fflags                                              ok (S)
31: test_option_gid_gname                                           ok
32: test_option_grzip                                               ok (S)
33: test_option_j                                                   ok
34: test_option_k                                                   ok
35: test_option_keep_newer_files                                    ok
36: test_option_lrzip                                               ok (S)
37: test_option_lz4                                                 ok (S)
38: test_option_lzma                                                ok (S)
39: test_option_lzop                                                ok (S)
40: test_option_n                                                   ok
41: test_option_newer_than                                          ok
42: test_option_nodump                                              ok (S)
43: test_option_older_than                                          ok
44: test_option_passphrase                                          ok
45: test_option_q                                                   ok
46: test_option_r                                                   ok
47: test_option_s                                                   ok
48: test_option_uid_uname                                           ok
49: test_option_uuencode                                            ok
50: test_option_xattrs                                              ok (S)
51: test_option_xz                                                  ok (S)
52: test_option_z                                                   ok
53: test_patterns                                                   ok
54: test_print_longpath                                             FAIL
55: test_stdio                                                      ok
56: test_strip_components                                           ok
57: test_symlink_dir                                                ok
58: test_version                                                    ok
59: test_windows                                                    ok (S)

Totals:
 Tests run:               60
 Tests failed:             1
 Assertions checked:   83406
 Assertions failed:        1
 Skips reported:          16

Failing tests:
 54: test_print_longpath (1 failures)

Details for failing tests: /tmp/bsdtar_test.2018-08-11T03.41.30-000

FAIL bsdtar_test (exit status: 1)
gijoe77
Tezro

Posts: 469
Threads: 28
Joined: Jun 2018
Find Reply
09-04-2018, 12:11 PM
#14
RE: The Quest for Libarchive/BSDTar
(09-04-2018, 06:45 AM)mrthinlysliced Wrote:  
(09-04-2018, 02:38 AM)Raion Wrote:  .. can you push that patch upstream for libarchive?

I can certainly give it a try.

(09-04-2018, 02:38 AM)Raion Wrote:  XZ, when compiled with mipspro, fails out with this:

https://pastebin.com/SEFtbwBX

Probably doesn't help but FYI a make check of xz-5.2.4 passes all tests for me with MIPSPro.

Config options here (Simply -O1):

https://github.com/danielhams/didbs/blob...onfigureit

Maybe you've got the -O level a bit too high for it?

Still getting it with -O1

Code:
/admin/xz-5.2.4/src/xz/.libs/xz: ./files/good-1-delta-lzma2.tiff.xz: Compressed data is corrupt
Good file failed: ./files/good-1-delta-lzma2.tiff.xz
FAIL: test_files.sh
test_compress.sh:
  generated_abctest_xz: 443150 Memory fault(coredump)
Compressing failed: -1 compress_generated_abc
FAIL: test_compress.sh
/admin/xz-5.2.4/src/xz/.libs/xz: ./files/good-1-lzma2-1.xz: Compressed data is corrupt
xzdiff with changes exited with status 2 != 1
FAIL: test_scripts.sh
=========================================
3 of 9 tests failed
Please report to lasse.collin@tukaani.org
=========================================
gmake[2]: *** [check-TESTS] Error 1
gmake[2]: Leaving directory `/admin/xz-5.2.4/tests'
gmake[1]: *** [check-am] Error 2
gmake[1]: Leaving directory `/admin/xz-5.2.4/tests'
gmake: *** [check-recursive] Error 1

LD_LIBRARY_PATH=/opt/local/gcc473/lib:/opt/local/gcc473/lib/gcc/mips-sgi-irix6.5/4.7.3:/opt/local/gcc473/lib64:/opt/local/gcc473/lib32:/opt/local/lib:/usr/nekoware/gcc-4.7/lib
CFLAGS=-O1 -I/opt/local/include -L/opt/local/lib
CXXFLAGS=-O1 -I/opt/local/include -L/opt/local/lib
CC=c99
CXX=CC
CPPFLAGS=-I/opt/local/include -L/opt/local/lib

I'm the manager
Besides IRIX Network, I run these sites:
projectkitsune.com

Tezro
Octane2
Indigo2 IMPACT
Indigo2
3x O2
3x Indy

Raion
Operator
*******

Posts: 352
Threads: 68
Joined: Nov 2017
Website Find Reply
09-04-2018, 07:22 PM
#15
RE: The Quest for Libarchive/BSDTar
(09-04-2018, 07:22 PM)Raion Wrote:  Still getting it with -O1

Code:
/admin/xz-5.2.4/src/xz/.libs/xz: ./files/good-1-delta-lzma2.tiff.xz: Compressed data is corrupt
Good file failed: ./files/good-1-delta-lzma2.tiff.xz
FAIL: test_files.sh
test_compress.sh:
 generated_abctest_xz: 443150 Memory fault(coredump)
Compressing failed: -1 compress_generated_abc
FAIL: test_compress.sh
/admin/xz-5.2.4/src/xz/.libs/xz: ./files/good-1-lzma2-1.xz: Compressed data is corrupt
xzdiff with changes exited with status 2 != 1
FAIL: test_scripts.sh
=========================================
3 of 9 tests failed
Please report to lasse.collin@tukaani.org
=========================================
gmake[2]: *** [check-TESTS] Error 1
gmake[2]: Leaving directory `/admin/xz-5.2.4/tests'
gmake[1]: *** [check-am] Error 2
gmake[1]: Leaving directory `/admin/xz-5.2.4/tests'
gmake: *** [check-recursive] Error 1

LD_LIBRARY_PATH=/opt/local/gcc473/lib:/opt/local/gcc473/lib/gcc/mips-sgi-irix6.5/4.7.3:/opt/local/gcc473/lib64:/opt/local/gcc473/lib32:/opt/local/lib:/usr/nekoware/gcc-4.7/lib
CFLAGS=-O1 -I/opt/local/include -L/opt/local/lib
CXXFLAGS=-O1 -I/opt/local/include -L/opt/local/lib
CC=c99
CXX=CC
CPPFLAGS=-I/opt/local/include -L/opt/local/lib

Hmm, that's fun .-)

Maybe some sanity checks:


Code:
[dan@leafy ~]$ c99 -version
MIPSpro Compilers: Version 7.4.4m
[dan@leafy ~]$ CC -version
MIPSpro Compilers: Version 7.4.4m
[dan@leafy ~]$ xz --version
xz (XZ Utils) 5.2.4
liblzma 5.2.4
[dan@leafy ~]$ ldd `which xz`
        liblzma.so.6  =>         /usr/didbs/lib/liblzma.so.6
        libintl.so.9  =>         /usr/didbs/lib/libintl.so.9
        libiconv.so.3  =>        /usr/didbs/lib/libiconv.so.3
        libc.so.1  =>    /usr/lib32/libc.so.1
        libpthread.so  =>        /usr/lib32/libpthread.so
[dan@leafy ~]$ env |grep PATH
MANPATH=/usr/didbs/man:/usr/didbs/share/man:/usr/share/catman
LD_LIBRARYN32_PATH=/usr/didbs/lib:/usr/lib32:/lib32
PATH=/usr/didbs/bin:/usr/sbin:/usr/bsd:/sbin:/usr/bin:/usr/bin/X11
PKG_CONFIG_PATH=/usr/didbs/lib/pkgconfig


Otherwise, maybe give us a copy of the config.log inside the directory where you are building it - that should give us some clues about what it is picking up from where and what options it is using.

Sit tight, we'll get to the bottom of it .-)

Edit: Just in case - you did an "autoreconf" after changing optimisation flags? Or rebuilt from a fresh extract?
(This post was last modified: 09-04-2018, 09:03 PM by mrthinlysliced.)
mrthinlysliced
Octane

Posts: 76
Threads: 5
Joined: May 2018
Find Reply
09-04-2018, 09:01 PM
#16
RE: The Quest for Libarchive/BSDTar
I forgot to re-run the configure script.

I'm a moron, as usual

I'm the manager
Besides IRIX Network, I run these sites:
projectkitsune.com

Tezro
Octane2
Indigo2 IMPACT
Indigo2
3x O2
3x Indy

Raion
Operator
*******

Posts: 352
Threads: 68
Joined: Nov 2017
Website Find Reply
09-04-2018, 09:17 PM
#17
RE: The Quest for Libarchive/BSDTar
Ha, we've all been there :-)

Is that you up and running with libarchive then?

Out of curiosity, what do you use it for? Something for the FTP site here?
mrthinlysliced
Octane

Posts: 76
Threads: 5
Joined: May 2018
Find Reply
09-04-2018, 09:21 PM
#18
RE: The Quest for Libarchive/BSDTar
For irisware. I'm going to see if bsdtar works better with inst than GNU tar, as GNU tar doesn't. We want to distribute packages as tardist.xz

I'm the manager
Besides IRIX Network, I run these sites:
projectkitsune.com

Tezro
Octane2
Indigo2 IMPACT
Indigo2
3x O2
3x Indy

Raion
Operator
*******

Posts: 352
Threads: 68
Joined: Nov 2017
Website Find Reply
09-04-2018, 10:51 PM


Forum Jump:


Users browsing this thread: 2 Guest(s)