The Quest for Libarchive/BSDTar
#11
RE: The Quest for Libarchive/BSDTar
Try compiling xz with option '-O1'

The INSTALL text file explicitly mentions IRIX MIPSPro miscompiling xz code:
Code:
MIPSpro 7.4.4m has been reported to produce broken code if using
   the -O2 optimization flag ("make check" fails). Using -O1 should
   work.

UPDATE: I have reproduced the error using '-O2' while running the test suite:
Code:
/local/frank/xz-5.2.4/src/xz/.libs/xz: ./files/good-1-delta-lzma2.tiff.xz: Compressed data is corrupt
Good file failed: ./files/good-1-delta-lzma2.tiff.xz
FAIL: test_files.sh
test_compress.sh:
  generated_abctest_xz: 126908 Memory fault
Compressing failed: -1 compress_generated_abc
FAIL: test_compress.sh
/local/frank/xz-5.2.4/src/xz/.libs/xz: ./files/good-1-lzma2-1.xz: Compressed data is corrupt
xzdiff with changes exited with status 2 != 1
FAIL: test_scripts.sh
(This post was last modified: 09-04-2018, 12:57 PM by dexter1. Edit Reason: compile test update )
dexter1
Global Moderator
******

Posts: 244
Threads: 11
Joined: May 2018
Find Reply
09-04-2018, 06:21 AM
#12
RE: The Quest for Libarchive/BSDTar
(09-04-2018, 02:38 AM)Raion Wrote:  .. can you push that patch upstream for libarchive?

I can certainly give it a try.

(09-04-2018, 02:38 AM)Raion Wrote:  XZ, when compiled with mipspro, fails out with this:

https://pastebin.com/SEFtbwBX

Probably doesn't help but FYI a make check of xz-5.2.4 passes all tests for me with MIPSPro.

Config options here (Simply -O1):

https://github.com/danielhams/didbs/blob...onfigureit

Maybe you've got the -O level a bit too high for it?
mrthinlysliced
Octane

Posts: 97
Threads: 9
Joined: May 2018
Find Reply
09-04-2018, 06:45 AM
#13
RE: The Quest for Libarchive/BSDTar
sorry I'm a bit late to the party, I was trying to figure out how to actually make a patch file, and y'all seem to have moved way ahead of me Smile

regarding libarchive, I was sorting out why bsdtar didn't support -xz and I was trying to figure out why the test suite was failing.  I sort of left it on the back burner and was going to circle back to it, here is sort of where I was sitting:


Code:
========================================
  libarchive 3.3.2: ./test-suite.log
========================================

# TOTAL: 4
# PASS:  2
# SKIP:  0
# XFAIL: 0
# FAIL:  2
# XPASS: 0
# ERROR: 0

.. contents:: :depth: 2

FAIL: libarchive_test
=====================


If tests fail or crash, details will be in:
  /tmp/libarchive_test.2018-08-11T03.37.22-000

Reference files will be read from: /usr/people/gijoe77/dev/libarchive/libarchive-3.3.2/libarchive/test
Exercising: libarchive 3.3.2 zlib/1.2.5 bz2lib/1.0.6
 0: test_acl_nfs4                                                   ok
 1: test_acl_pax_posix1e                                            ok
 2: test_acl_pax_nfs4                                               ok
 3: test_acl_platform_nfs4                                          ok (S)
 4: test_acl_platform_posix1e_restore                               ok (S)
 5: test_acl_platform_posix1e_read                                  ok (S)
 6: test_acl_posix1e                                                ok
 7: test_acl_from_text                                              ok
 8: test_acl_to_text                                                ok
 9: test_archive_api_feature                                        ok
10: test_archive_clear_error                                        ok
11: test_archive_cmdline                                            ok
12: test_archive_md5                                                ok (S)
13: test_archive_rmd160                                             ok (S)
14: test_archive_sha1                                               ok (S)
15: test_archive_sha256                                             ok (S)
16: test_archive_sha384                                             ok (S)
17: test_archive_sha512                                             ok (S)
18: test_archive_getdate                                            ok
19: test_archive_match_owner                                        ok
20: test_archive_match_path                                         ok
21: test_archive_match_time                                         ok
22: test_archive_pathmatch                                          ok
23: test_archive_read_add_passphrase                                ok
24: test_archive_read_add_passphrase_incorrect_sequance             ok
25: test_archive_read_add_passphrase_single                         ok
26: test_archive_read_add_passphrase_multiple                       ok
27: test_archive_read_add_passphrase_set_callback1                  ok
28: test_archive_read_add_passphrase_set_callback2                  ok
29: test_archive_read_add_passphrase_set_callback3                  ok
30: test_archive_read_add_passphrase_multiple_with_callback         ok
31: test_archive_read_add_passphrase_multiple_with_callback2        ok
32: test_archive_read_close_twice                                   ok
33: test_archive_read_close_twice_open_fd                           ok
34: test_archive_read_close_twice_open_filename                     ok
35: test_archive_read_multiple_data_objects                         ok
36: test_archive_read_next_header_empty                             ok
37: test_archive_read_next_header_raw                               ok
38: test_archive_read_open2                                         ok
39: test_archive_read_set_filter_option                             ok
40: test_archive_read_set_format_option                             ok
41: test_archive_read_set_option                                    ok
42: test_archive_read_set_options                                   ok
43: test_archive_read_support                                       ok
44: test_archive_set_error                                          ok
45: test_archive_string                                             ok
46: test_archive_string_sort                                        ok
47: test_archive_string_conversion                                  ok (S)
48: test_archive_write_add_filter_by_name_b64encode                 ok
49: test_archive_write_add_filter_by_name_bzip2                     ok
50: test_archive_write_add_filter_by_name_compress                  ok
51: test_archive_write_add_filter_by_name_grzip                     ok (S)
52: test_archive_write_add_filter_by_name_gzip                      ok
53: test_archive_write_add_filter_by_name_lrzip                     ok (S)
54: test_archive_write_add_filter_by_name_lz4                       ok (S)
55: test_archive_write_add_filter_by_name_lzip                      ok (S)
56: test_archive_write_add_filter_by_name_lzma                      ok (S)
57: test_archive_write_add_filter_by_name_lzop                      ok (S)
58: test_archive_write_add_filter_by_name_uuencode                  ok
59: test_archive_write_add_filter_by_name_xz                        ok (S)
60: test_archive_write_set_filter_option                            ok
61: test_archive_write_set_format_by_name_7zip                      ok
62: test_archive_write_set_format_by_name_ar                        ok
63: test_archive_write_set_format_by_name_arbsd                     ok
64: test_archive_write_set_format_by_name_argnu                     ok
65: test_archive_write_set_format_by_name_arsvr4                    ok
66: test_archive_write_set_format_by_name_bsdtar                    ok
67: test_archive_write_set_format_by_name_cd9660                    ok
68: test_archive_write_set_format_by_name_cpio                      ok
69: test_archive_write_set_format_by_name_gnutar                    ok
70: test_archive_write_set_format_by_name_iso                       ok
71: test_archive_write_set_format_by_name_iso9660                   ok
72: test_archive_write_set_format_by_name_mtree                     ok
73: test_archive_write_set_format_by_name_mtree_classic             ok
74: test_archive_write_set_format_by_name_newc                      ok
75: test_archive_write_set_format_by_name_odc                       ok
76: test_archive_write_set_format_by_name_oldtar                    ok
77: test_archive_write_set_format_by_name_pax                       ok
78: test_archive_write_set_format_by_name_paxr                      ok
79: test_archive_write_set_format_by_name_posix                     ok
80: test_archive_write_set_format_by_name_rpax                      ok
81: test_archive_write_set_format_by_name_shar                      ok
82: test_archive_write_set_format_by_name_shardump                  ok
83: test_archive_write_set_format_by_name_ustar                     ok
84: test_archive_write_set_format_by_name_v7tar                     ok
85: test_archive_write_set_format_by_name_v7                        ok
86: test_archive_write_set_format_by_name_warc                      ok
87: test_archive_write_set_format_by_name_xar                       ok (S)
88: test_archive_write_set_format_by_name_zip                       ok
89: test_archive_write_set_format_filter_by_ext_7zip                ok
90: test_archive_write_set_format_filter_by_ext_zip                 ok
91: test_archive_write_set_format_filter_by_ext_jar                 ok
92: test_archive_write_set_format_filter_by_ext_a                   ok
93: test_archive_write_set_format_filter_by_ext_ar                  ok
94: test_archive_write_set_format_filter_by_ext_cpio                ok
95: test_archive_write_set_format_filter_by_ext_iso                 ok
96: test_archive_write_set_format_filter_by_ext_tar                 ok
97: test_archive_write_set_format_filter_by_ext_tar_gz              ok
98: test_archive_write_set_format_filter_by_ext_tar_bz2             ok
99: test_archive_write_set_format_filter_by_ext_tar_xz              ok (S)
100: test_archive_write_set_format_filter_by_no_ext_def_zip          ok
101: test_archive_write_set_format_filter_by_ext_tar_bz2_def_zip     ok
102: test_archive_write_set_format_option                            ok
103: test_archive_write_set_option                                   ok
104: test_archive_write_set_options                                  ok
105: test_archive_write_set_passphrase                               ok
106: test_archive_write_set_passphrase_callback                      ok
107: test_bad_fd                                                     ok
108: test_compat_bzip2                                               ok
109: test_compat_cpio                                                ok
110: test_compat_gtar                                                ok
111: test_compat_gzip                                                ok
112: test_compat_lz4                                                 ok (S)
113: test_compat_lzip                                                ok (S)
114: test_compat_lzma                                                ok (S)
115: test_compat_lzop                                                ok (S)
116: test_compat_mac                                                 ok
117: test_compat_pax_libarchive_2x                                   ok (S)
118: test_compat_perl_archive_tar                                    ok
119: test_compat_plexus_archiver_tar                                 ok
120: test_compat_solaris_pax_sparse                                  ok
121: test_compat_solaris_tar_acl                                     ok
122: test_compat_star_acl_posix1e                                    ok
123: test_compat_star_acl_nfs4                                       ok
124: test_compat_tar_hardlink                                        ok
125: test_compat_uudecode                                            ok
126: test_compat_uudecode_large                                      ok
127: test_compat_xz                                                  ok (S)
128: test_compat_zip_1                                               ok
129: test_compat_zip_2                                               ok
130: test_compat_zip_3                                               ok
131: test_compat_zip_4                                               ok
132: test_compat_zip_5                                               ok
133: test_compat_zip_6                                               ok
134: test_compat_zip_7                                               ok
135: test_empty_write                                                ok
136: test_entry                                                      ok (S)
137: test_entry_strmode                                              ok
138: test_extattr_freebsd                                            ok (S)
139: test_filter_count                                               ok
140: test_fuzz_ar                                                    ok
141: test_fuzz_cab                                                   ok
142: test_fuzz_cpio                                                  ok
143: test_fuzz_iso9660                                               ok
144: test_fuzz_lzh                                                   ok
145: test_fuzz_mtree                                                 ok
146: test_fuzz_rar                                                   ok
147: test_fuzz_tar                                                   ok
148: test_fuzz_zip                                                   ok
149: test_gnutar_filename_encoding_UTF8_CP866                        ok (S)
150: test_gnutar_filename_encoding_KOI8R_UTF8                        ok (S)
151: test_gnutar_filename_encoding_KOI8R_CP866                       ok (S)
152: test_gnutar_filename_encoding_CP1251_UTF8                       ok (S)
153: test_gnutar_filename_encoding_ru_RU_CP1251                      ok (S)
154: test_gnutar_filename_encoding_Russian_Russia                    ok (S)
155: test_gnutar_filename_encoding_EUCJP_UTF8                        ok (S)
156: test_gnutar_filename_encoding_EUCJP_CP932                       ok (S)
157: test_gnutar_filename_encoding_CP932_UTF8                        ok (S)
158: test_link_resolver                                              ok
159: test_open_failure                                               ok
160: test_open_fd                                                    ok
161: test_open_file                                                  ok
162: test_open_filename                                              ok
163: test_pax_filename_encoding_KOI8R                                ok (S)
164: test_pax_filename_encoding_CP1251                               ok (S)
165: test_pax_filename_encoding_EUCJP                                ok (S)
166: test_pax_filename_encoding_CP932                                ok (S)
167: test_pax_filename_encoding_KOI8R_BINARY                         ok (S)
168: test_pax_filename_encoding_KOI8R_CP1251                         ok (S)
169: test_pax_filename_encoding                                      ok (S)
170: test_read_data_large                                            ok
171: test_read_disk                                                  FAIL
172: test_read_disk_directory_traversals                             FAIL
173: test_read_disk_entry_from_file                                  ok
174: test_read_extract                                               ok
175: test_read_file_nonexistent                                      ok
176: test_read_filter_compress_truncated                             ok
177: test_read_filter_compress_empty2                                ok
178: test_read_filter_compress_invalid                               ok
179: test_read_filter_grzip                                          ok (S)
180: test_read_filter_lrzip                                          ok (S)
181: test_read_filter_lzop                                           ok (S)
182: test_read_filter_lzop_multiple_parts                            ok (S)
183: test_read_filter_program                                        ok
184: test_read_filter_program_signature                              ok
185: test_read_filter_uudecode                                       ok
186: test_read_filter_uudecode_base64                                ok
187: test_read_format_7zip                                           ok (S)
188: test_read_format_7zip_bzip2                                     ok
189: test_read_format_7zip_from_fd                                   ok
190: test_read_format_7zip_copy                                      ok
191: test_read_format_7zip_deflate                                   ok
192: test_read_format_7zip_empty                                     ok
193: test_read_format_7zip_lzma1                                     ok (S)
194: test_read_format_7zip_lzma2                                     ok (S)
195: test_read_format_7zip_ppmd                                      ok
196: test_read_format_7zip_encryption_data                           ok
197: test_read_format_7zip_encryption_header                         ok
198: test_read_format_7zip_encryption_partially                      ok
199: test_read_format_7zip_malformed                                 ok
200: test_read_format_ar                                             ok
201: test_read_format_cab                                            ok
202: test_read_format_cab_filename                                   ok (S)
203: test_read_format_cpio_afio                                      ok
204: test_read_format_cpio_bin                                       ok
205: test_read_format_cpio_bin_Z                                     ok
206: test_read_format_cpio_bin_be                                    ok
207: test_read_format_cpio_bin_bz2                                   ok
208: test_read_format_cpio_bin_gz                                    ok
209: test_read_format_cpio_bin_le                                    ok
210: test_read_format_cpio_bin_lzip                                  ok (S)
211: test_read_format_cpio_bin_lzma                                  ok (S)
212: test_read_format_cpio_bin_xz                                    ok (S)
213: test_read_format_cpio_filename_eucJP_UTF8                       ok (S)
214: test_read_format_cpio_filename_UTF8_eucJP                       ok (S)
215: test_read_format_cpio_filename_UTF8_UTF8_jp                     ok (S)
216: test_read_format_cpio_filename_CP866_KOI8R                      ok (S)
217: test_read_format_cpio_filename_CP866_UTF8                       ok (S)
218: test_read_format_cpio_filename_KOI8R_CP866                      ok (S)
219: test_read_format_cpio_filename_KOI8R_UTF8                       ok (S)
220: test_read_format_cpio_filename_UTF8_KOI8R                       ok (S)
221: test_read_format_cpio_filename_UTF8_CP866                       ok (S)
222: test_read_format_cpio_filename_UTF8_UTF8_ru                     ok (S)
223: test_read_format_cpio_filename_eucJP_CP932                      ok (S)
224: test_read_format_cpio_filename_UTF8_CP932                       ok (S)
225: test_read_format_cpio_filename_CP866_CP1251                     ok (S)
226: test_read_format_cpio_filename_CP866_CP1251_win                 ok (S)
227: test_read_format_cpio_filename_KOI8R_CP1251                     ok (S)
228: test_read_format_cpio_filename_UTF8_CP1251                      ok (S)
229: test_read_format_cpio_odc                                       ok
230: test_read_format_cpio_svr4_bzip2_rpm                            ok
231: test_read_format_cpio_svr4_gzip                                 ok
232: test_read_format_cpio_svr4_gzip_rpm                             ok
233: test_read_format_cpio_svr4c_Z                                   ok
234: test_read_format_empty                                          ok
235: test_read_format_gtar_filename_eucJP_UTF8                       ok (S)
236: test_read_format_gtar_filename_CP866_KOI8R                      ok (S)
237: test_read_format_gtar_filename_CP866_UTF8                       ok (S)
238: test_read_format_gtar_filename_KOI8R_CP866                      ok (S)
239: test_read_format_gtar_filename_KOI8R_UTF8                       ok (S)
240: test_read_format_gtar_filename_eucJP_CP932                      ok (S)
241: test_read_format_gtar_filename_CP866_CP1251                     ok (S)
242: test_read_format_gtar_filename_CP866_CP1251_win                 ok (S)
243: test_read_format_gtar_filename_KOI8R_CP1251                     ok (S)
244: test_read_format_gtar_gz                                        ok
245: test_read_format_gtar_lzma                                      ok (S)
246: test_read_format_gtar_sparse                                    ok
247: test_read_format_gtar_sparse_skip_entry                         ok
248: test_read_format_iso_Z                                          ok
249: test_read_format_iso_multi_extent                               ok
250: test_read_format_iso_xorriso                                    ok
251: test_read_format_isojoliet_bz2                                  ok
252: test_read_format_isojoliet_long                                 ok
253: test_read_format_isojoliet_rr                                   ok
254: test_read_format_isojoliet_versioned                            ok
255: test_read_format_isorr_bz2                                      ok
256: test_read_format_isorr_ce                                       ok
257: test_read_format_isorr_new_bz2                                  ok
258: test_read_format_isorr_rr_moved                                 ok
259: test_read_format_isozisofs_bz2                                  ok
260: test_read_format_lha                                            ok
261: test_read_format_lha_bugfix_0                                   ok
262: test_read_format_lha_filename                                   ok (S)
263: test_read_format_mtree                                          ok
264: test_read_format_mtree_filenames_only                           ok
265: test_read_format_mtree_nochange                                 ok
266: test_read_format_mtree_nomagic_v1_form                          ok
267: test_read_format_mtree_nomagic_v2_form                          ok
268: test_read_format_mtree_nomagic_v2_netbsd_form                   ok
269: test_read_format_mtree_nonexistent_contents_file                ok
270: test_read_format_mtree_crash747                                 ok
271: test_read_format_pax_bz2                                        ok
272: test_read_format_rar_basic                                      ok
273: test_read_format_rar_subblock                                   ok
274: test_read_format_rar_noeof                                      ok
275: test_read_format_rar_unicode_UTF8                               ok (S)
276: test_read_format_rar_unicode_CP932                              ok (S)
277: test_read_format_rar_compress_normal                            ok
278: test_read_format_rar_multi_lzss_blocks                          ok
279: test_read_format_rar_compress_best                              ok
280: test_read_format_rar_ppmd_lzss_conversion                       ok
281: test_read_format_rar_binary                                     FAIL
282: test_read_format_rar_windows                                    ok
283: test_read_format_rar_multivolume                                ok
284: test_read_format_rar_multivolume_skip                           ok
285: test_read_format_rar_sfx                                        ok
286: test_read_format_rar_multivolume_stored_file                    ok
287: test_read_format_rar_multivolume_stored_file_skip               ok
288: test_read_format_rar_multivolume_seek_data                      ok
289: test_read_format_rar_multivolume_seek_multiple_files            ok
290: test_read_format_rar_multivolume_uncompressed_files             ok
291: test_read_format_rar_encryption_data                            ok
292: test_read_format_rar_encryption_header                          ok
293: test_read_format_rar_encryption_partially                       ok
294: test_read_format_rar_invalid1                                   ok
295: test_read_format_raw                                            ok
296: test_read_format_tar                                            ok
297: test_read_format_tar_concatenated                               ok
298: test_read_format_tar_empty_filename                             ok
299: test_read_format_tar_empty_pax                                  ok
300: test_read_format_tar_filename                                   ok (S)
301: test_read_format_tbz                                            ok
302: test_read_format_tgz                                            ok
303: test_read_format_tlz                                            ok (S)
304: test_read_format_txz                                            ok (S)
305: test_read_format_tz                                             ok
306: test_read_format_ustar_filename                                 ok (S)
307: test_read_format_warc                                           FAIL
308: test_read_format_xar                                            ok (S)
309: test_read_format_zip                                            ok
310: test_read_format_zip_comment_stored                             ok
311: test_read_format_zip_encryption_data                            ok
312: test_read_format_zip_encryption_header                          ok
313: test_read_format_zip_encryption_partially                       ok
314: test_read_format_zip_filename_CP932_eucJP                       ok (S)
315: test_read_format_zip_filename_CP932_UTF8                        ok (S)
316: test_read_format_zip_filename_UTF8_eucJP                        ok (S)
317: test_read_format_zip_filename_UTF8_UTF8                         ok (S)
318: test_read_format_zip_filename_CP866_KOI8R                       ok (S)
319: test_read_format_zip_filename_CP866_UTF8                        ok (S)
320: test_read_format_zip_filename_KOI8R_CP866                       ok (S)
321: test_read_format_zip_filename_KOI8R_UTF8                        ok (S)
322: test_read_format_zip_filename_UTF8_KOI8R                        ok (S)
323: test_read_format_zip_filename_UTF8_CP866                        ok (S)
324: test_read_format_zip_filename_UTF8_UTF8_ru                      ok (S)
325: test_read_format_zip_filename_CP932_CP932                       ok (S)
326: test_read_format_zip_filename_UTF8_CP932                        ok (S)
327: test_read_format_zip_filename_CP866_CP1251                      ok (S)
328: test_read_format_zip_filename_CP866_CP1251_win                  ok (S)
329: test_read_format_zip_filename_KOI8R_CP1251                      ok (S)
330: test_read_format_zip_filename_UTF8_CP1251                       ok (S)
331: test_read_format_zip_filename_KOI8R_UTF8_2                      ok (S)
332: test_read_format_zip_high_compression                           ok
333: test_read_format_zip_high_compression2                          ok
334: test_read_format_zip_jar                                        ok
335: test_read_format_zip_mac_metadata                               ok
336: test_read_format_zip_malformed                                  ok
337: test_read_format_zip_msdos                                      ok
338: test_read_format_zip_nested                                     ok
339: test_read_format_zip_nofiletype                                 ok
340: test_read_format_zip_padded1                                    ok
341: test_read_format_zip_padded2                                    ok
342: test_read_format_zip_padded3                                    ok
343: test_read_format_zip_sfx                                        ok
344: test_read_format_zip_traditional_encryption_data                ok
345: test_read_format_zip_winzip_aes128                              ok (S)
346: test_read_format_zip_winzip_aes256                              ok (S)
347: test_read_format_zip_winzip_aes256_stored                       ok (S)
348: test_read_format_zip_winzip_aes256_large                        ok (S)
349: test_read_format_zip_with_invalid_traditional_eocd              ok
350: test_read_format_zip_zip64a                                     ok
351: test_read_format_zip_zip64b                                     ok
352: test_read_large                                                 ok
353: test_schily_xattr_pax                                           ok
354: test_read_pax_truncated                                         ok
355: test_read_position                                              ok
356: test_read_set_format                                            ok
357: test_read_set_wrong_format                                      ok
358: test_read_append_filter                                         ok
359: test_read_append_wrong_filter                                   ok
360: test_read_append_filter_program                                 ok
361: test_read_append_filter_wrong_program                           ok
362: test_read_too_many_filters                                      ok
363: test_read_truncated                                             ok
364: test_read_truncated_filter_bzip2                                ok
365: test_read_truncated_filter_compress                             ok
366: test_read_truncated_filter_gzip                                 ok
367: test_read_truncated_filter_lzip                                 ok (S)
368: test_read_truncated_filter_lzma                                 ok (S)
369: test_read_truncated_filter_lzop                                 ok (S)
370: test_read_truncated_filter_xz                                   ok (S)
371: test_sparse_basic                                               ok (S)
372: test_fully_sparse_files                                         ok (S)
373: test_tar_filenames                                              ok
374: test_tar_large                                                  ok
375: test_ustar_filename_encoding_UTF8_CP866                         ok (S)
376: test_ustar_filename_encoding_KOI8R_UTF8                         ok (S)
377: test_ustar_filename_encoding_KOI8R_CP866                        ok (S)
378: test_ustar_filename_encoding_CP1251_UTF8                        ok (S)
379: test_ustar_filename_encoding_ru_RU_CP1251                       ok (S)
380: test_ustar_filename_encoding_Russian_Russia                     ok (S)
381: test_ustar_filename_encoding_EUCJP_UTF8                         ok (S)
382: test_ustar_filename_encoding_EUCJP_CP932                        ok (S)
383: test_ustar_filename_encoding_CP932_UTF8                         ok (S)
384: test_ustar_filenames                                            ok
385: test_warn_missing_hardlink_target                               ok
386: test_write_disk                                                 ok
387: test_write_disk_appledouble                                     ok (S)
388: test_write_disk_failures                                        ok (S)
389: test_write_disk_hardlink                                        ok
390: test_write_disk_hfs_compression                                 ok (S)
391: test_write_disk_lookup                                          ok
392: test_write_disk_mac_metadata                                    ok (S)
393: test_write_disk_no_hfs_compression                              ok (S)
394: test_write_disk_perms                                           Running as root: Can't test SGID failures.
Running as root: Can't test setuid failures.
ok
395: test_write_disk_secure                                          ok
396: test_write_disk_secure744                                       Path too long (1036/1024).
ok
397: test_write_disk_secure745                                       ok
398: test_write_disk_secure746a                                      ok
399: test_write_disk_secure746b                                      ok
400: test_write_disk_sparse                                          ok
401: test_write_disk_symlink                                         ok
402: test_write_disk_times                                           ok (S)
403: test_write_filter_b64encode                                     ok
404: test_write_filter_bzip2                                         ok
405: test_write_filter_compress                                      ok
406: test_write_filter_gzip                                          ok
407: test_write_filter_gzip_timestamp                                ok
408: test_write_filter_lrzip                                         ok (S)
409: test_write_filter_lz4                                           ok (S)
410: test_write_filter_lz4_disable_stream_checksum                   ok (S)
411: test_write_filter_lz4_enable_block_checksum                     ok (S)
412: test_write_filter_lz4_block_size_4                              ok (S)
413: test_write_filter_lz4_block_size_5                              ok (S)
414: test_write_filter_lz4_block_size_6                              ok (S)
415: test_write_filter_lz4_block_dependence                          ok (S)
416: test_write_filter_lzip                                          ok (S)
417: test_write_filter_lzma                                          ok (S)
418: test_write_filter_lzop                                          ok (S)
419: test_write_filter_program                                       ok
420: test_write_filter_uuencode                                      ok
421: test_write_filter_xz                                            ok (S)
422: test_write_format_7zip                                          ok
423: test_write_format_7zip_basic_bzip2                              ok
424: test_write_format_7zip_basic_copy                               ok
425: test_write_format_7zip_basic_deflate                            ok
426: test_write_format_7zip_basic_lzma1                              ok (S)
427: test_write_format_7zip_basic_lzma2                              ok (S)
428: test_write_format_7zip_basic_ppmd                               ok
429: test_write_format_7zip_empty_archive                            ok
430: test_write_format_7zip_empty_files                              ok
431: test_write_format_7zip_large_bzip2                              ok
432: test_write_format_7zip_large_copy                               ok
433: test_write_format_7zip_large_deflate                            ok
434: test_write_format_7zip_large_lzma1                              ok (S)
435: test_write_format_7zip_large_lzma2                              ok (S)
436: test_write_format_7zip_large_ppmd                               ok
437: test_write_format_ar                                            ok
438: test_write_format_cpio                                          ok
439: test_write_format_cpio_empty                                    ok
440: test_write_format_cpio_newc                                     ok
441: test_write_format_cpio_odc                                      ok
442: test_write_format_gnutar                                        ok
443: test_write_format_gnutar_filenames                              ok
444: test_write_format_gnutar_linknames                              ok
445: test_write_format_iso9660                                       ok
446: test_write_format_iso9660_boot                                  ok
447: test_write_format_iso9660_empty                                 ok
448: test_write_format_iso9660_filename                              ok
449: test_write_format_iso9660_zisofs                                ok
450: test_write_format_mtree                                         ok
451: test_write_format_mtree_no_leading_dotslash                     ok
452: test_write_format_mtree_absolute_path                           ok
453: test_write_format_mtree_classic                                 ok
454: test_write_format_mtree_classic_indent                          ok
455: test_write_format_mtree_fflags                                  ok (S)
456: test_write_format_mtree_no_separator                            ok
457: test_write_format_mtree_quoted_filename                         ok
458: test_write_format_pax                                           ok
459: test_write_format_raw                                           ok
460: test_write_format_raw_b64                                       ok
461: test_write_format_shar_empty                                    ok
462: test_write_format_tar                                           ok
463: test_write_format_tar_empty                                     ok
464: test_write_format_tar_sparse                                    ok
465: test_write_format_tar_ustar                                     ok
466: test_write_format_tar_v7tar                                     ok
467: test_write_format_warc                                          ok
468: test_write_format_warc_empty                                    ok
469: test_write_format_xar                                           ok (S)
470: test_write_format_xar_empty                                     ok (S)
471: test_write_format_zip                                           ok
472: test_write_format_zip64                                         ok
473: test_write_format_zip_traditional_pkware_encryption             ok
474: test_write_format_zip_winzip_aes128_encryption                  ok (S)
475: test_write_format_zip_winzip_aes256_encryption                  ok (S)
476: test_write_format_zip_compression_store                         ok
477: test_write_format_zip_empty                                     ok
478: test_write_format_zip_empty_zip64                               ok
479: test_write_format_zip_file                                      ok
480: test_write_format_zip_file_zip64                                ok
481: test_write_format_zip_large                                     ok
482: test_write_format_zip_zip64_oversize                            ok
483: test_write_open_memory                                          ok
484: test_write_read_format_zip                                      ok
485: test_write_read_format_zip_improved_streaming                   ok
486: test_write_read_format_zip64                                    ok
487: test_write_read_format_zip64_improved_streaming                 ok
488: test_xattr_platform                                             ok (S)
489: test_zip_filename_encoding_UTF8                                 ok (S)
490: test_zip_filename_encoding_KOI8R                                ok (S)
491: test_zip_filename_encoding_ru_RU_CP1251                         ok (S)
492: test_zip_filename_encoding_Russian_Russia                       ok (S)
493: test_zip_filename_encoding_EUCJP                                ok (S)
494: test_zip_filename_encoding_CP932                                ok (S)

Totals:
 Tests run:              495
 Tests failed:             4
 Assertions checked:28739252
 Assertions failed:        8
 Skips reported:         217

Failing tests:
 171: test_read_disk (1 failures)
 172: test_read_disk_directory_traversals (4 failures)
 281: test_read_format_rar_binary (1 failures)
 307: test_read_format_warc (2 failures)

Details for failing tests: /tmp/libarchive_test.2018-08-11T03.37.22-000

FAIL libarchive_test (exit status: 1)

FAIL: bsdtar_test
=================


If tests fail or crash, details will be in:
  /tmp/bsdtar_test.2018-08-11T03.41.30-000

Reference files will be read from: /usr/people/gijoe77/dev/libarchive/libarchive-3.3.2/tar/test
Running tests on: "/usr/people/gijoe77/dev/libarchive/libarchive-3.3.2/bsdtar"
Exercising: bsdtar 3.3.2 - libarchive 3.3.2 zlib/1.2.5 bz2lib/1.0.6

 0: test_0                                                          ok
 1: test_basic                                                      ok
 2: test_copy                                                       ok
 3: test_empty_mtree                                                ok
 4: test_extract_tar_Z                                              ok
 5: test_extract_tar_bz2                                            ok
 6: test_extract_tar_grz                                            ok (S)
 7: test_extract_tar_gz                                             ok
 8: test_extract_tar_lrz                                            ok (S)
 9: test_extract_tar_lz                                             ok (S)
10: test_extract_tar_lz4                                            ok (S)
11: test_extract_tar_lzma                                           ok
12: test_extract_tar_lzo                                            ok (S)
13: test_extract_tar_xz                                             ok
14: test_format_newc                                                ok
15: test_help                                                       ok
16: test_leading_slash                                              ok
17: test_missing_file                                               ok
18: test_option_C_upper                                             ok
19: test_option_H_upper                                             ok
20: test_option_L_upper                                             ok
21: test_option_O_upper                                             ok
22: test_option_T_upper                                             ok
23: test_option_U_upper                                             ok
24: test_option_X_upper                                             ok
25: test_option_a                                                   ok
26: test_option_acls                                                ok (S)
27: test_option_b                                                   ok
28: test_option_b64encode                                           ok
29: test_option_exclude                                             ok
30: test_option_fflags                                              ok (S)
31: test_option_gid_gname                                           ok
32: test_option_grzip                                               ok (S)
33: test_option_j                                                   ok
34: test_option_k                                                   ok
35: test_option_keep_newer_files                                    ok
36: test_option_lrzip                                               ok (S)
37: test_option_lz4                                                 ok (S)
38: test_option_lzma                                                ok (S)
39: test_option_lzop                                                ok (S)
40: test_option_n                                                   ok
41: test_option_newer_than                                          ok
42: test_option_nodump                                              ok (S)
43: test_option_older_than                                          ok
44: test_option_passphrase                                          ok
45: test_option_q                                                   ok
46: test_option_r                                                   ok
47: test_option_s                                                   ok
48: test_option_uid_uname                                           ok
49: test_option_uuencode                                            ok
50: test_option_xattrs                                              ok (S)
51: test_option_xz                                                  ok (S)
52: test_option_z                                                   ok
53: test_patterns                                                   ok
54: test_print_longpath                                             FAIL
55: test_stdio                                                      ok
56: test_strip_components                                           ok
57: test_symlink_dir                                                ok
58: test_version                                                    ok
59: test_windows                                                    ok (S)

Totals:
 Tests run:               60
 Tests failed:             1
 Assertions checked:   83406
 Assertions failed:        1
 Skips reported:          16

Failing tests:
 54: test_print_longpath (1 failures)

Details for failing tests: /tmp/bsdtar_test.2018-08-11T03.41.30-000

FAIL bsdtar_test (exit status: 1)
gijoe77
Tezro

Posts: 604
Threads: 33
Joined: Jun 2018
Find Reply
09-04-2018, 12:11 PM
#14
RE: The Quest for Libarchive/BSDTar
(09-04-2018, 06:45 AM)mrthinlysliced Wrote:  
(09-04-2018, 02:38 AM)Raion Wrote:  .. can you push that patch upstream for libarchive?

I can certainly give it a try.

(09-04-2018, 02:38 AM)Raion Wrote:  XZ, when compiled with mipspro, fails out with this:

https://pastebin.com/SEFtbwBX

Probably doesn't help but FYI a make check of xz-5.2.4 passes all tests for me with MIPSPro.

Config options here (Simply -O1):

https://github.com/danielhams/didbs/blob...onfigureit

Maybe you've got the -O level a bit too high for it?

Still getting it with -O1

Code:
/admin/xz-5.2.4/src/xz/.libs/xz: ./files/good-1-delta-lzma2.tiff.xz: Compressed data is corrupt
Good file failed: ./files/good-1-delta-lzma2.tiff.xz
FAIL: test_files.sh
test_compress.sh:
  generated_abctest_xz: 443150 Memory fault(coredump)
Compressing failed: -1 compress_generated_abc
FAIL: test_compress.sh
/admin/xz-5.2.4/src/xz/.libs/xz: ./files/good-1-lzma2-1.xz: Compressed data is corrupt
xzdiff with changes exited with status 2 != 1
FAIL: test_scripts.sh
=========================================
3 of 9 tests failed
Please report to lasse.collin@tukaani.org
=========================================
gmake[2]: *** [check-TESTS] Error 1
gmake[2]: Leaving directory `/admin/xz-5.2.4/tests'
gmake[1]: *** [check-am] Error 2
gmake[1]: Leaving directory `/admin/xz-5.2.4/tests'
gmake: *** [check-recursive] Error 1

LD_LIBRARY_PATH=/opt/local/gcc473/lib:/opt/local/gcc473/lib/gcc/mips-sgi-irix6.5/4.7.3:/opt/local/gcc473/lib64:/opt/local/gcc473/lib32:/opt/local/lib:/usr/nekoware/gcc-4.7/lib
CFLAGS=-O1 -I/opt/local/include -L/opt/local/lib
CXXFLAGS=-O1 -I/opt/local/include -L/opt/local/lib
CC=c99
CXX=CC
CPPFLAGS=-I/opt/local/include -L/opt/local/lib


Raion
Operator
*******

Posts: 585
Threads: 113
Joined: Nov 2017
Website Find Reply
09-04-2018, 07:22 PM
#15
RE: The Quest for Libarchive/BSDTar
(09-04-2018, 07:22 PM)Raion Wrote:  Still getting it with -O1

Code:
/admin/xz-5.2.4/src/xz/.libs/xz: ./files/good-1-delta-lzma2.tiff.xz: Compressed data is corrupt
Good file failed: ./files/good-1-delta-lzma2.tiff.xz
FAIL: test_files.sh
test_compress.sh:
 generated_abctest_xz: 443150 Memory fault(coredump)
Compressing failed: -1 compress_generated_abc
FAIL: test_compress.sh
/admin/xz-5.2.4/src/xz/.libs/xz: ./files/good-1-lzma2-1.xz: Compressed data is corrupt
xzdiff with changes exited with status 2 != 1
FAIL: test_scripts.sh
=========================================
3 of 9 tests failed
Please report to lasse.collin@tukaani.org
=========================================
gmake[2]: *** [check-TESTS] Error 1
gmake[2]: Leaving directory `/admin/xz-5.2.4/tests'
gmake[1]: *** [check-am] Error 2
gmake[1]: Leaving directory `/admin/xz-5.2.4/tests'
gmake: *** [check-recursive] Error 1

LD_LIBRARY_PATH=/opt/local/gcc473/lib:/opt/local/gcc473/lib/gcc/mips-sgi-irix6.5/4.7.3:/opt/local/gcc473/lib64:/opt/local/gcc473/lib32:/opt/local/lib:/usr/nekoware/gcc-4.7/lib
CFLAGS=-O1 -I/opt/local/include -L/opt/local/lib
CXXFLAGS=-O1 -I/opt/local/include -L/opt/local/lib
CC=c99
CXX=CC
CPPFLAGS=-I/opt/local/include -L/opt/local/lib

Hmm, that's fun .-)

Maybe some sanity checks:


Code:
[dan@leafy ~]$ c99 -version
MIPSpro Compilers: Version 7.4.4m
[dan@leafy ~]$ CC -version
MIPSpro Compilers: Version 7.4.4m
[dan@leafy ~]$ xz --version
xz (XZ Utils) 5.2.4
liblzma 5.2.4
[dan@leafy ~]$ ldd `which xz`
        liblzma.so.6  =>         /usr/didbs/lib/liblzma.so.6
        libintl.so.9  =>         /usr/didbs/lib/libintl.so.9
        libiconv.so.3  =>        /usr/didbs/lib/libiconv.so.3
        libc.so.1  =>    /usr/lib32/libc.so.1
        libpthread.so  =>        /usr/lib32/libpthread.so
[dan@leafy ~]$ env |grep PATH
MANPATH=/usr/didbs/man:/usr/didbs/share/man:/usr/share/catman
LD_LIBRARYN32_PATH=/usr/didbs/lib:/usr/lib32:/lib32
PATH=/usr/didbs/bin:/usr/sbin:/usr/bsd:/sbin:/usr/bin:/usr/bin/X11
PKG_CONFIG_PATH=/usr/didbs/lib/pkgconfig


Otherwise, maybe give us a copy of the config.log inside the directory where you are building it - that should give us some clues about what it is picking up from where and what options it is using.

Sit tight, we'll get to the bottom of it .-)

Edit: Just in case - you did an "autoreconf" after changing optimisation flags? Or rebuilt from a fresh extract?
(This post was last modified: 09-04-2018, 09:03 PM by mrthinlysliced.)
mrthinlysliced
Octane

Posts: 97
Threads: 9
Joined: May 2018
Find Reply
09-04-2018, 09:01 PM
#16
RE: The Quest for Libarchive/BSDTar
I forgot to re-run the configure script.

I'm a moron, as usual


Raion
Operator
*******

Posts: 585
Threads: 113
Joined: Nov 2017
Website Find Reply
09-04-2018, 09:17 PM
#17
RE: The Quest for Libarchive/BSDTar
Ha, we've all been there :-)

Is that you up and running with libarchive then?

Out of curiosity, what do you use it for? Something for the FTP site here?
mrthinlysliced
Octane

Posts: 97
Threads: 9
Joined: May 2018
Find Reply
09-04-2018, 09:21 PM
#18
RE: The Quest for Libarchive/BSDTar
For irisware. I'm going to see if bsdtar works better with inst than GNU tar, as GNU tar doesn't. We want to distribute packages as tardist.xz


Raion
Operator
*******

Posts: 585
Threads: 113
Joined: Nov 2017
Website Find Reply
09-04-2018, 10:51 PM


Forum Jump:


Users browsing this thread: 1 Guest(s)